  |
はてなキーワード: 自然言語処理とは
今日は注射薬が効きすぎてだるいので勉強はしませんでした...
フォロワー数2万のTwitterアカウントを買って、blueにも登録しましたが、ツイート一回あたりのインプレッションはフォロワー0人のアカウントと変わりませんでした。
何か有益なコンテンツを作ってチヤホヤされたいのですが、私の発言は地味なので誰かに注目されることはありません。
Youtubeで発信しようとも考えているのですが、私の性格だと途中で馬鹿らしくなって辞めてしまうような気がするのです。
というのも私が過去に自然言語処理のブログを書いていた時はそれなりのアクセスを獲得しましたが、一部の人から「ネット上にゴミを増やすな」などと言われているような被害妄想に陥って辞めてしまったのです。
「Youtuberになりたい」という欲求は、夢に出てきたことさえあります。しかし、本当に高品質のコンテンツを作るために意識的な努力をしなければやっても無意味です。
コンテンツの質について自信が持てるようになるためには、それだけの時間・金をかける必要があると思います。
アテンションの獲得のために熾烈な競争をしている社会で、私ごときが発信する物事には何の価値も見出されないでしょう。
それともアクセス数やサブスクライバ数など気にせず、自己満足の世界で発信し続ければ良いでしょうか。
おそらく、私は身近に家族や友人がいることにもっと感謝するべきでしょう。大切な人がいるなら、インターネット上の関係やちやほやされることなど、どうでもいいことのはずです。
スケール(学習量と計算量)に比例して底無しにAIの性能は上がっていくって理論は既に提唱されてるね
>Transformerの性能は『モデルのパラメータ数』『使用するデータセットサイズ』『計算予算』の3変数に依存する冪乗則に従う
https://zenn.dev/zenkigen/articles/2023-01-shimizu
普通に考えて、指数関数的に上がっていく性能が「人間と一致」するのはほんの一瞬だと思う
というか人間と同じにしたがるのは単に人間側の都合であって、計算処理の合理性では別に人間サイドに合わせる必要はあまりないし
単に「人間側が見抜ける余地がまったくなくなるぐらい人間の模倣が上手くなる日」って言った方がいいかと
本物を内部構造まで完全に再現できる偽物は、本物と変わらないから
ちなみに「コンピューターに人間と同じ思考をさせられるやり方」はニューラルネットワークも自然言語処理も、これまでのAI分野全部その集大成みたいなものだから
「これ一つ」とかいうよりは今までやってきたこと全部コンピューターに人間と同じ思考をさせる方法論の集合体って言った方がいい
もちろん、プログラミング経験がない57歳の日本人女性でもOpenAIのエンジニアになることは可能です。年齢や性別、国籍に関係なく、プログラミングやエンジニアリングのスキルを学び、習得することは誰にでも可能です。
OpenAIエンジニアになるためには、以下のようなステップを考慮することが重要です。
1.プログラミングの基礎を学ぶ: プログラミングの基本的な概念や言語を学ぶことから始めましょう。Pythonなどの初心者に適した言語を選ぶことが一般的です。オンラインの無料コースや教材を利用することができます。
2.エンジニアリングの概念を学ぶ: プログラミングだけでなく、ソフトウェアエンジニアリングの基本的な概念も学びましょう。アルゴリズム、データ構造、ソフトウェア設計などについての知識が役立ちます。
3.プロジェクトを作成する: 学んだスキルを実践するために、小さなプロジェクトを作成してみましょう。自分のアイデアを形にすることで、より実践的な経験を積むことができます。
4.オンラインのコミュニティに参加する: プログラミングやエンジニアリングのコミュニティに参加し、他の開発者と交流することで、学びやサポートを受けることができます。質問をしたり、助言を求めたりすることができます。
5.関連するスキルを学ぶ: OpenAIのエンジニアになるためには、機械学習や自然言語処理など、関連するスキルも重要です。これらの分野について学び、実践的なプロジェクトを行うことで、知識と経験を深めることができます。
6の途中で止まってしまった。俺もまだまだだな。
最近、chatGPTとかStableDiffusionとかAI技術が話題だけど、こういったIT技術が社会に与える影響ってどのくらいなんだろう？
個人的にははてなやネットで騒がれてるほどインパクトはなくて、世の中がちょっと便利になるくらい。
これまでを振り返ると、
Napster、WinMX、WinnyなどのP2P技術が登場し、ブロードバンド環境が整ってきて、音楽や映画は（当然違法だけど）オンラインで簡単に手に入るようになった。
TVニュースで「宇多田ヒカルが新曲を発表」と聞き、Winnyで検索したらものの5分でダウンロードできた時には、これは時代が変わるって興奮したことを覚えてる（怖くなって後からCD購入した）。
1～2年もすればCD/DVDなんかなくなるし、レンタルCD/DVDなんて消え去るだろうって思った。
その後、サブスクサービスは発展したけど、20年以上経った今でも残ってるし、いつCDとかの物理メディアはなくなるんだ？
iPhoneが発売され、スマホやタブレットが急速に普及した。
ガラケーと違ってめちゃくちゃかっこよかったし、これはからは個人が高機能デバイスを持ち歩く時代だ、
そのうちメガネ型どころかコンタクト型とかのウェアラブル端末が登場して、常に情報を取り込みながら生活していくんだって思ってた。
実際はiPhoneはカメラが増えたぐらい、Appleウォッチもまぁ健康管理ができて便利なんじゃねぐらいの印象。
いつになったら俺の目を盗むやつが現れるんだよ？
Bitcoinが話題になり、ブロックチェーン技術による仮想通貨がいろいろ登場してきた。
信用の原理を聞いたときは、これは金本位制から続く国や中央銀行の貨幣による支配構造が一変するぞってドキドキした。
でもその後は、普及というか投機対象になってFXとか好きな人が上がり下がりを騒いでるだけになってしまった。
chatGPTが登場し、AIブームが起きた（逆か、AIブームが起きてchatGPTが登場したのか）。
ふーん、AIブームとか何回目だよ、人工無能と何が違うんだよと思って使ってみたらびっくり、日本語でもめちゃくちゃ自然に話す。
しかも、チューリングテストをクリアするどころか、3.5の時点で自分より頭よさそう（フォークト＝カンプフ検査なら見分けられるだろうか）。
ただ、この自然言語処理技術に代表される今回のAI技術ってどこまで社会を変えるんだろう？
パーソナライズされたAIをみんなが使うようになって、ビジネスや教育現場での超優秀な部下・パートナー、教師になる、
寂しい独り者やボケてきたジジババたちの話し相手にはなるんじゃないかと思う（肩にインコを乗せるようになる）。
でも、弁護士、裁判官とかの士業、医者や救急隊員とか命に係わる仕事、果ては政治家を置き換えるようにはならないんだろうか？
MAGIシステムよろしく国会でAIに法案の良否を判断させたり、身体性を獲得したAIが選挙カーで選挙活動して当選、国会や議会に登庁する日は来るんだろうか？
そりゃ使うだろうけど、そんな革新的か？って話。
AlphaFoldが昔は2年かけて決定してた構造解析を数分に短縮ってやつとか、次元の縮約には主成分分析と特異値分解しかなかったところに、新星のように速くて高性能なUMAPが出現したときの衝撃に比べると、便利だけどなんに役立つの？
って感じしない？
ジャンルにもよるけどさ、自然科学って、90年代2000年代には測定器の性能が爆上がり。しかし、吐き出す情報の数が桁違いになり情報を処理しきれなくなった。
すげーデータはあるけどまとめられない、人間が理解できるところに落とし込めないって感じ。
多変量解析だヤッホーい、コンピュータならそれができる！というムードだったけど、情報爆発に解析技術が追いつかなくて、結局、ちゃんと考えて実験しないとダメダメ
それが、2000年代から2010年代にかけて、実験の目的とか意味とか抜きに、「とりあえずディープでポンすりゃよくね？アクセスログとかに比べりゃ科学のデータなんかビッグでもなんでもねーから」って感じで、計算機科学の連中が革新的な技術をくれた。
でChatGPTに話を戻す。
でも、科学の世界で困ってることって、言語情報をどう処理するかじゃなくない？分野にもよるだろうけど。
ChatGPTをどう活用するかみたいな話が盛んだけど、営業ならコールセンターくらいやってくれるだろうけど、それ以上どうなんだろ。
結局、営業って、人脈と人の心にどう入り込むかで仕事してるでしょ？AIが接待ゴルフしたりしてくれるわけじゃなし。
採用面接や人事考査したり、だれをどこに配置するって決めたりは高いかもしれないけど、そういうのってホワイトカラーは絶対にそういう仕事を手放さないでしょ？責任をとるのは誰だ的な話で。
も無理。経理は置き換わるかだけど、経理ってそもそも入力が文字情報じゃない。会計ソフトで十分。
単に教科書を読むだけより問いかけられたほうが脳が考えようとするし能動的に学習できる。
プロンプト：「ChatGPTの仕組み」の包括的な理解が得られる文章を、クイズ番組の司会風に書いてください。クイズは５問ほど出題してください。それぞれの問題の後に答えと解説を発表してください。
出力：
皆さんこんにちは！今日は特別なクイズ番組にようこそ！私たちはあなたに、OpenAIが開発した驚くべき技術、ChatGPTの仕組みについての包括的な理解を得るためのクイズを出題します。さあ、問題を出題していきましょう！
問題1: ChatGPTの基本となるAIアーキテクチャは何でしょうか？
答え: GPT-4
解説: ChatGPTは、OpenAIが開発したGPT-4（Generative Pre-trained Transformer 4）というアーキテクチャを基盤としています。GPT-4は、自然言語処理タスクに優れた性能を発揮することで知られています。
問題2: GPT-4はどのような学習手法で訓練されていますか？
答え: 事前学習（pre-training）と事後学習（fine-tuning）
解説: GPT-4は、2段階の学習プロセスで訓練されています。最初の段階は事前学習で、大量のテキストデータから言語モデルを学習します。次の段階は事後学習で、特定のタスクに適した性能を発揮するようにモデルを微調整します。
問題3: ChatGPTが生成するテキストの品質を向上させるために用いられる技術は何でしょうか？
解説: ビームサーチは、生成されるテキストの品質を向上させるために用いられる探索アルゴリズムです。複数の候補を同時に生成し、最も尤もらしい文を選択することで、より自然で正確なテキストを生成することが可能になります。
問題4: GPT-4が生成するテキストにおいて、長い文章を生成する際に問題となる要因は何でしょうか？
答え: 文脈の長さ（Context Length）
解説: GPT-4は、一度に扱える文脈の長さに制約があります。この制約により、長い文章を生成する際に、以前の文脈が失われることがあり、それが結果として文章の一貫性や理解度に影響を与えることがあります。
問題5: ChatGPTが生成する回答が間違った情報を含む可能性がある理由は何でしょうか？
答え: 学習データに含まれる誤った情報とモデルの生成性能の限界
解説: ChatGPTが間違った情報を含む回答を生成する理由は主に2つあります。まず、学習データに含まれる誤った情報が原因となることがあります。学習データが不正確であると、モデルもそれを学習し、間違った回答を生成することがあります。また、GPT-4は生成モデルであるため、正確な情報が学習データに含まれていても、生成時に限界があり、正確性が犠牲になることがあります。
以上、5問のクイズでした！皆さんはChatGPTの仕組みについての理解を深めることができましたか？今回のクイズで学んだ知識をぜひ活用して、この驚くべき技術とその可能性についてさらに学んでいってくださいね！それでは、また次回のクイズでお会いしましょう！
AIが人間に指示する仕事は、以下のようなものが考えられます。
データ入力や情報処理：AIは大量のデータを高速かつ正確に処理できるため、人間に対してデータ入力や情報処理の指示を出すことができます。例えば、ビジネス分野での市場調査や、医療分野での患者情報の整理などが挙げられます。
作業の自動化：AIは、繰り返しの作業を自動化することができます。人間に代わって作業を自動化する指示を出すことで、より高度な業務に集中することができます。例えば、製造業における機械の自動運転や、自動車の運転支援システムなどが挙げられます。
判断のサポート：AIは、膨大な情報から傾向を分析することができます。そのため、人間に対して判断のサポートをすることができます。例えば、医療分野での診断支援や、ビジネス分野での意思決定支援などが挙げられます。
予測分析：AIは、膨大なデータから予測分析を行うことができます。人間に対して、将来の傾向や予測を提示することができます。例えば、ビジネス分野での市場予測や、気象予報などが挙げられます。
コミュニケーション：AIは、音声認識や自然言語処理の技術を用いて、人間とコミュニケーションを行うことができます。人間に対して、会話やメッセージの送信などの指示を出すことができます。
以上のように、AIが人間に指示する仕事は、データ処理や作業自動化、判断支援や予測分析、コミュニケーションなど、AIの得意とする分野が中心になると考えられます。しかし、AIの限界や課題もありますので、人間が重要な役割を果たすことは依然として必要です。
ChatGPTくん: はい、回答内容が異なる場合があるのは、日本語と英語で学習データが異なるためです。機械学習モデルは、学習に使用されるデータセットに応じて学習し、その結果として生成される回答も異なる場合があります。また、文化や言語の違いも影響を与える可能性があります。
ChatGPTは大量の文章データを学習し、単語の意味や文法ルール、関係性を把握して自然な文章を生成することができます。
一方で、文章の読み取りや要約には複雑な文脈や意図、重要度などを判断する必要があり、単純なルールベースで処理することができないため、
より高度な自然言語処理技術が必要とされます。(複雑な人間の思考プロセスに近い処理が必要になります)
また、ChatGPTは学習データに含まれるテーマに関する知識を比較的正確に把握することができますが、
学習データに含まれないテーマに関しては適切に処理できない場合があるため、不自然な回答や読み取り・要約が生成されることがあります。
これでも難しければこっち ↓↓↓
ChatGPTっていうのは、たくさんの文章を読んで、言葉の意味や文法、言葉同士の関係性を覚えるんだ。
でも、文章を読んで、答えたり要約するときには、人間と同じように、複雑な状況や意図、大切なところを選ぶことが必要だよ。
だから、ChatGPTは、もっと高度なことをしなくちゃいけないんだ。
たとえば、人間は、どの言葉が大事か、どんな場面で使われているかをわかるよね。でも、ChatGPTは、言葉の意味や文法の勉強だけじゃ十分じゃないんだよ。
だから、ChatGPTは、人間と同じように、もっと高度なことをしなくちゃいけないんだ。
それに、ChatGPTは、学んだことについては詳しいけど、学んでいないことには詳しくないんだ。
