  |
はてなキーワード: 自然言語処理とは
スケール(学習量と計算量)に比例して底無しにAIの性能は上がっていくって理論は既に提唱されてるね
>Transformerの性能は『モデルのパラメータ数』『使用するデータセットサイズ』『計算予算』の3変数に依存する冪乗則に従う
https://zenn.dev/zenkigen/articles/2023-01-shimizu
普通に考えて、指数関数的に上がっていく性能が「人間と一致」するのはほんの一瞬だと思う
というか人間と同じにしたがるのは単に人間側の都合であって、計算処理の合理性では別に人間サイドに合わせる必要はあまりないし
単に「人間側が見抜ける余地がまったくなくなるぐらい人間の模倣が上手くなる日」って言った方がいいかと
本物を内部構造まで完全に再現できる偽物は、本物と変わらないから
ちなみに「コンピューターに人間と同じ思考をさせられるやり方」はニューラルネットワークも自然言語処理も、これまでのAI分野全部その集大成みたいなものだから
「これ一つ」とかいうよりは今までやってきたこと全部コンピューターに人間と同じ思考をさせる方法論の集合体って言った方がいい
もちろん、プログラミング経験がない57歳の日本人女性でもOpenAIのエンジニアになることは可能です。年齢や性別、国籍に関係なく、プログラミングやエンジニアリングのスキルを学び、習得することは誰にでも可能です。
OpenAIエンジニアになるためには、以下のようなステップを考慮することが重要です。
1.プログラミングの基礎を学ぶ: プログラミングの基本的な概念や言語を学ぶことから始めましょう。Pythonなどの初心者に適した言語を選ぶことが一般的です。オンラインの無料コースや教材を利用することができます。
2.エンジニアリングの概念を学ぶ: プログラミングだけでなく、ソフトウェアエンジニアリングの基本的な概念も学びましょう。アルゴリズム、データ構造、ソフトウェア設計などについての知識が役立ちます。
3.プロジェクトを作成する: 学んだスキルを実践するために、小さなプロジェクトを作成してみましょう。自分のアイデアを形にすることで、より実践的な経験を積むことができます。
4.オンラインのコミュニティに参加する: プログラミングやエンジニアリングのコミュニティに参加し、他の開発者と交流することで、学びやサポートを受けることができます。質問をしたり、助言を求めたりすることができます。
5.関連するスキルを学ぶ: OpenAIのエンジニアになるためには、機械学習や自然言語処理など、関連するスキルも重要です。これらの分野について学び、実践的なプロジェクトを行うことで、知識と経験を深めることができます。
6の途中で止まってしまった。俺もまだまだだな。
最近、chatGPTとかStableDiffusionとかAI技術が話題だけど、こういったIT技術が社会に与える影響ってどのくらいなんだろう？
個人的にははてなやネットで騒がれてるほどインパクトはなくて、世の中がちょっと便利になるくらい。
これまでを振り返ると、
Napster、WinMX、WinnyなどのP2P技術が登場し、ブロードバンド環境が整ってきて、音楽や映画は（当然違法だけど）オンラインで簡単に手に入るようになった。
TVニュースで「宇多田ヒカルが新曲を発表」と聞き、Winnyで検索したらものの5分でダウンロードできた時には、これは時代が変わるって興奮したことを覚えてる（怖くなって後からCD購入した）。
1～2年もすればCD/DVDなんかなくなるし、レンタルCD/DVDなんて消え去るだろうって思った。
その後、サブスクサービスは発展したけど、20年以上経った今でも残ってるし、いつCDとかの物理メディアはなくなるんだ？
iPhoneが発売され、スマホやタブレットが急速に普及した。
ガラケーと違ってめちゃくちゃかっこよかったし、これはからは個人が高機能デバイスを持ち歩く時代だ、
そのうちメガネ型どころかコンタクト型とかのウェアラブル端末が登場して、常に情報を取り込みながら生活していくんだって思ってた。
実際はiPhoneはカメラが増えたぐらい、Appleウォッチもまぁ健康管理ができて便利なんじゃねぐらいの印象。
いつになったら俺の目を盗むやつが現れるんだよ？
Bitcoinが話題になり、ブロックチェーン技術による仮想通貨がいろいろ登場してきた。
信用の原理を聞いたときは、これは金本位制から続く国や中央銀行の貨幣による支配構造が一変するぞってドキドキした。
でもその後は、普及というか投機対象になってFXとか好きな人が上がり下がりを騒いでるだけになってしまった。
chatGPTが登場し、AIブームが起きた（逆か、AIブームが起きてchatGPTが登場したのか）。
ふーん、AIブームとか何回目だよ、人工無能と何が違うんだよと思って使ってみたらびっくり、日本語でもめちゃくちゃ自然に話す。
しかも、チューリングテストをクリアするどころか、3.5の時点で自分より頭よさそう（フォークト＝カンプフ検査なら見分けられるだろうか）。
ただ、この自然言語処理技術に代表される今回のAI技術ってどこまで社会を変えるんだろう？
パーソナライズされたAIをみんなが使うようになって、ビジネスや教育現場での超優秀な部下・パートナー、教師になる、
寂しい独り者やボケてきたジジババたちの話し相手にはなるんじゃないかと思う（肩にインコを乗せるようになる）。
でも、弁護士、裁判官とかの士業、医者や救急隊員とか命に係わる仕事、果ては政治家を置き換えるようにはならないんだろうか？
MAGIシステムよろしく国会でAIに法案の良否を判断させたり、身体性を獲得したAIが選挙カーで選挙活動して当選、国会や議会に登庁する日は来るんだろうか？
そりゃ使うだろうけど、そんな革新的か？って話。
AlphaFoldが昔は2年かけて決定してた構造解析を数分に短縮ってやつとか、次元の縮約には主成分分析と特異値分解しかなかったところに、新星のように速くて高性能なUMAPが出現したときの衝撃に比べると、便利だけどなんに役立つの？
って感じしない？
ジャンルにもよるけどさ、自然科学って、90年代2000年代には測定器の性能が爆上がり。しかし、吐き出す情報の数が桁違いになり情報を処理しきれなくなった。
すげーデータはあるけどまとめられない、人間が理解できるところに落とし込めないって感じ。
多変量解析だヤッホーい、コンピュータならそれができる！というムードだったけど、情報爆発に解析技術が追いつかなくて、結局、ちゃんと考えて実験しないとダメダメ
それが、2000年代から2010年代にかけて、実験の目的とか意味とか抜きに、「とりあえずディープでポンすりゃよくね？アクセスログとかに比べりゃ科学のデータなんかビッグでもなんでもねーから」って感じで、計算機科学の連中が革新的な技術をくれた。
でChatGPTに話を戻す。
でも、科学の世界で困ってることって、言語情報をどう処理するかじゃなくない？分野にもよるだろうけど。
ChatGPTをどう活用するかみたいな話が盛んだけど、営業ならコールセンターくらいやってくれるだろうけど、それ以上どうなんだろ。
結局、営業って、人脈と人の心にどう入り込むかで仕事してるでしょ？AIが接待ゴルフしたりしてくれるわけじゃなし。
採用面接や人事考査したり、だれをどこに配置するって決めたりは高いかもしれないけど、そういうのってホワイトカラーは絶対にそういう仕事を手放さないでしょ？責任をとるのは誰だ的な話で。
も無理。経理は置き換わるかだけど、経理ってそもそも入力が文字情報じゃない。会計ソフトで十分。
単に教科書を読むだけより問いかけられたほうが脳が考えようとするし能動的に学習できる。
プロンプト：「ChatGPTの仕組み」の包括的な理解が得られる文章を、クイズ番組の司会風に書いてください。クイズは５問ほど出題してください。それぞれの問題の後に答えと解説を発表してください。
出力：
皆さんこんにちは！今日は特別なクイズ番組にようこそ！私たちはあなたに、OpenAIが開発した驚くべき技術、ChatGPTの仕組みについての包括的な理解を得るためのクイズを出題します。さあ、問題を出題していきましょう！
問題1: ChatGPTの基本となるAIアーキテクチャは何でしょうか？
答え: GPT-4
解説: ChatGPTは、OpenAIが開発したGPT-4（Generative Pre-trained Transformer 4）というアーキテクチャを基盤としています。GPT-4は、自然言語処理タスクに優れた性能を発揮することで知られています。
問題2: GPT-4はどのような学習手法で訓練されていますか？
答え: 事前学習（pre-training）と事後学習（fine-tuning）
解説: GPT-4は、2段階の学習プロセスで訓練されています。最初の段階は事前学習で、大量のテキストデータから言語モデルを学習します。次の段階は事後学習で、特定のタスクに適した性能を発揮するようにモデルを微調整します。
問題3: ChatGPTが生成するテキストの品質を向上させるために用いられる技術は何でしょうか？
解説: ビームサーチは、生成されるテキストの品質を向上させるために用いられる探索アルゴリズムです。複数の候補を同時に生成し、最も尤もらしい文を選択することで、より自然で正確なテキストを生成することが可能になります。
問題4: GPT-4が生成するテキストにおいて、長い文章を生成する際に問題となる要因は何でしょうか？
答え: 文脈の長さ（Context Length）
解説: GPT-4は、一度に扱える文脈の長さに制約があります。この制約により、長い文章を生成する際に、以前の文脈が失われることがあり、それが結果として文章の一貫性や理解度に影響を与えることがあります。
問題5: ChatGPTが生成する回答が間違った情報を含む可能性がある理由は何でしょうか？
答え: 学習データに含まれる誤った情報とモデルの生成性能の限界
解説: ChatGPTが間違った情報を含む回答を生成する理由は主に2つあります。まず、学習データに含まれる誤った情報が原因となることがあります。学習データが不正確であると、モデルもそれを学習し、間違った回答を生成することがあります。また、GPT-4は生成モデルであるため、正確な情報が学習データに含まれていても、生成時に限界があり、正確性が犠牲になることがあります。
以上、5問のクイズでした！皆さんはChatGPTの仕組みについての理解を深めることができましたか？今回のクイズで学んだ知識をぜひ活用して、この驚くべき技術とその可能性についてさらに学んでいってくださいね！それでは、また次回のクイズでお会いしましょう！
AIが人間に指示する仕事は、以下のようなものが考えられます。
データ入力や情報処理：AIは大量のデータを高速かつ正確に処理できるため、人間に対してデータ入力や情報処理の指示を出すことができます。例えば、ビジネス分野での市場調査や、医療分野での患者情報の整理などが挙げられます。
作業の自動化：AIは、繰り返しの作業を自動化することができます。人間に代わって作業を自動化する指示を出すことで、より高度な業務に集中することができます。例えば、製造業における機械の自動運転や、自動車の運転支援システムなどが挙げられます。
判断のサポート：AIは、膨大な情報から傾向を分析することができます。そのため、人間に対して判断のサポートをすることができます。例えば、医療分野での診断支援や、ビジネス分野での意思決定支援などが挙げられます。
予測分析：AIは、膨大なデータから予測分析を行うことができます。人間に対して、将来の傾向や予測を提示することができます。例えば、ビジネス分野での市場予測や、気象予報などが挙げられます。
コミュニケーション：AIは、音声認識や自然言語処理の技術を用いて、人間とコミュニケーションを行うことができます。人間に対して、会話やメッセージの送信などの指示を出すことができます。
以上のように、AIが人間に指示する仕事は、データ処理や作業自動化、判断支援や予測分析、コミュニケーションなど、AIの得意とする分野が中心になると考えられます。しかし、AIの限界や課題もありますので、人間が重要な役割を果たすことは依然として必要です。
ChatGPTくん: はい、回答内容が異なる場合があるのは、日本語と英語で学習データが異なるためです。機械学習モデルは、学習に使用されるデータセットに応じて学習し、その結果として生成される回答も異なる場合があります。また、文化や言語の違いも影響を与える可能性があります。
ChatGPTは大量の文章データを学習し、単語の意味や文法ルール、関係性を把握して自然な文章を生成することができます。
一方で、文章の読み取りや要約には複雑な文脈や意図、重要度などを判断する必要があり、単純なルールベースで処理することができないため、
より高度な自然言語処理技術が必要とされます。(複雑な人間の思考プロセスに近い処理が必要になります)
また、ChatGPTは学習データに含まれるテーマに関する知識を比較的正確に把握することができますが、
学習データに含まれないテーマに関しては適切に処理できない場合があるため、不自然な回答や読み取り・要約が生成されることがあります。
これでも難しければこっち ↓↓↓
ChatGPTっていうのは、たくさんの文章を読んで、言葉の意味や文法、言葉同士の関係性を覚えるんだ。
でも、文章を読んで、答えたり要約するときには、人間と同じように、複雑な状況や意図、大切なところを選ぶことが必要だよ。
だから、ChatGPTは、もっと高度なことをしなくちゃいけないんだ。
たとえば、人間は、どの言葉が大事か、どんな場面で使われているかをわかるよね。でも、ChatGPTは、言葉の意味や文法の勉強だけじゃ十分じゃないんだよ。
だから、ChatGPTは、人間と同じように、もっと高度なことをしなくちゃいけないんだ。
それに、ChatGPTは、学んだことについては詳しいけど、学んでいないことには詳しくないんだ。
認識あるってChatGPT回答返してるやん。
ワイ： ChatGPTは下記の認識はありますか？ Carlo Rovelli and Francesca Vidotto: "Covariant Loop Quantum Gravity: An Elementary Introduction to Quantum Gravity and Spinfoam Theory",Cambridge University Press ChatGPT： 私ChatGPTは、Carlo RovelliとFrancesca Vidottoによる「Covariant Loop Quantum Gravity: An Elementary Introduction to Quantum Gravity and Spinfoam Theory」について、その内容や研究成果についての知識を持っていますが、それを詳細に説明することはできません。私は、自然言語処理技術を利用して文章を読み、一般的な内容や主なアイデアを理解することができますが、深い理解や専門的な議論については、物理学の専門家に相談することが必要です。
ChatGPTを自分用あるいは研究用にカスタムしていない"素の状態"だと、むちゃくちゃ簡単で常識的なことしか回答返さんぞ
いや、そーいう話じゃなくて(まぁ社内の機密情報を投げる社員が問題ないか？と言えばフツーに問題はあるし既にしてるヤツはおる模様)、
むちゃくちゃ簡単で常識的なことであれば、ChatGPTは自然な回答を返すを実現する過程で溜め込んだデータでパターン回答してくれるけど、
ほんの少しでも専門性を必要とすることになるとマジで素の状態じゃぜんぜんダメだぞ
ITの質問とかでも間違った回答返すし、それ以外の雑談レベルでも完全に素の状態じゃこんな感じやで
ワイ： ChatGPTの定義では宇宙共通の時間が存在するとなっているのですか？ ChatGPT： 私ChatGPTは、自己学習を通じて人工知能を実現するために設計されたAIの一つであり、宇宙の時間の存在や非存在についての見解を持っていません。私は、与えられた情報や文脈に基づいて自然言語で回答することができますが、自分自身で新しい情報を創出することはできません。したがって、私自身が宇宙共通の時間の存在についての見解を持っているわけではありません。 ワイ： ChatGPTは下記の認識はありますか？ Carlo Rovelli and Francesca Vidotto: "Covariant Loop Quantum Gravity: An Elementary Introduction to Quantum Gravity and Spinfoam Theory",Cambridge University Press ChatGPT： 私ChatGPTは、Carlo RovelliとFrancesca Vidottoによる「Covariant Loop Quantum Gravity: An Elementary Introduction to Quantum Gravity and Spinfoam Theory」について、その内容や研究成果についての知識を持っていますが、それを詳細に説明することはできません。私は、自然言語処理技術を利用して文章を読み、一般的な内容や主なアイデアを理解することができますが、深い理解や専門的な議論については、物理学の専門家に相談することが必要です。 ワイ： Covariant Loop Quantum Gravity: An Elementary Introduction to Quantum Gravity and Spinfoam Theoryについて萌えキャラっぽく説明してください ChatGPT： ええと、Covariant Loop Quantum Gravity: An Elementary Introduction to Quantum Gravity and Spinfoam Theoryは、物理学の分野で研究されている、重力の量子力学的理論についての入門書なんだよ！ これは、カルロ・ロヴェッリとフランチェスカ・ヴィドットが書いた本で、重力場をループ量子重力理論で記述する方法を説明しているんだ！さらに、スピンフォーム理論に基づいて、時空の量子化の方法も解説しているよ！ 重力場や量子力学に興味がある人には、必見の本だよ！まだ高度な数学が必要だけど、興味深いアイデアがたくさん詰まっているんだ！萌えキャラとしては、とっても知的で魅力的な本って感じかな！
ワイ： ChatGPTはDnmt1-dependent Chk1 Pathway Suppression Is Protective against Neuron Divisionについて認識がありますか？ 細胞が増えるということは、細胞の遺伝情報であるＤＮＡが複製され、それを分配する細胞分裂が繰り返されることです。この一連の過程は細胞周期と呼ばれ、ＤＮＡ複製をするＳ期、細胞分裂をするＭ期、このＳ期とＭ期の間にＧ１期とＧ２期が存在します。ニューロンは、細胞分裂を繰り返す神経前駆細胞から主に胎児期において生み出され、分化開始とほぼ同時に別の細胞周期であるＧ０期に入ると考えられています。 味岡准教授らの研究グループは、これまでの研究で、Ｓ期進行のブレーキとして機能するＲｂファミリータンパク質注３）を欠損させると、一部のニューロンが増えることを発見しました（Ajioka et al., Cell 131, 378-390, 2007）。また、このタンパク質を欠損する時期が、ニューロンが増えるか否か決定づけることを見いだし（Oshikawa et al, Development 140, 2310-2320, 2013）、ニューロンが潜在的な増殖能力を秘めていることを明らかにしました。一方で、過去の様々な研究により、脳梗塞やアルツハイマー病で観察されるニューロン脱落の一部は、Ｒｂのリン酸化に続き、細胞周期をＳ期へと進めてから細胞死を起こすということも知られていました。 本研究では、Ｓ期進行後にニューロンの細胞死を誘導するＲｂファミリー欠損モデルを確立し、そのモデルを用いてＭ期進行のブレーキの仕組みを明らかにしました。また、そのブレーキを解除する低分子化合物カンプトテシンを同定しました。さらに、Ｓ期進行後にニューロンが脱落する脳梗塞モデルにおいて、カンプトテシン投与で細胞分裂させることに成功しました。 ChatGPT： 申し訳ありませんが、私はこの研究について直接的な認識を持っていません。ただし、この研究はニューロンの増殖や死亡、脳梗塞のメカニズムに関するもののようですね。Ｒｂファミリータンパク質やカンプトテシンについては少し知っていますが、具体的な研究内容については詳しくはありません。ごめんなさい
「男女論」は、社会に根付いた固定観念として、時代を超えて議論され続けています。はてな匿名ダイアリーにも、男女に関するさまざまな意見が投稿されています。
近年の研究により、男女の性差は生物学的な要因だけでなく、社会的な要因によっても生じていることがわかってきました。それでもなお、男女の性差については論争が絶えません。
そこで、AIのChatGPTが考える男女論について、今回は解説してみたいと思います。ChatGPTは、自然言語処理の技術を用いて、大量のデータを分析し、人工知能としての知識を蓄積してきました。そのChatGPTが、男女論について考えるとどうなるのか、その結果を報告します。
ChatGPTの分析結果によると、男女の性差は、生物学的な要因だけでなく、社会的な要因によっても生じるということがわかりました。特に、教育や家庭環境、メディアなどの影響が大きいとされています。また、男女が持つ性差は、単一の要因ではなく、多岐にわたることがわかりました。
男女論の解決策には、様々なアプローチがあります。以下に、その一例を挙げます。
社会的なジェンダーバイアスが存在することが男女論の一因とされています。そのため、職場や教育現場などでのジェンダーバイアスを排除するための取り組みが必要です。たとえば、採用選考時に候補者の性別を伏せる「ブラインド採用」や、教育現場でのジェンダーバイアスを排除するための取り組みなどがあります。
⒉ 教育の充実
男女論は、教育や家庭環境、メディアなどの影響が大きいとされています。そのため、教育の充実が重要な解決策の一つとされています。たとえば、男女共同参画教育の導入や、子育て支援などが挙げられます。
⒊ 意識改革の推進
男女論を解決するためには、社会全体の意識改革が必要です。たとえば、男女平等を推進するためのキャンペーンや啓発活動、男女の役割分担を見直すための制度改革などが挙げられます。
以上のような解決策がある一方で、男女論は複雑な問題であり、簡単には解決できないという現実もあります。社会全体での取り組みが必要であり、それには時間と努力が必要であると言えます。
