  |
はてなキーワード: 言語モデルとは
Apple Intelligenceはまず端末ローカルで動く言語モデルで動作し、端末内では扱えないと判定されると、AppleのデータセンターにあるAppleSilicon上で動く大規模言語モデルで処理されたり、ChatGPTの方が効率的に処理できると判定されたものはユーザーに「これChatGPTに投げて良い？」って確認が入って、それにユーザーがOKを出して始めてChatGPTに送られる。
なので、いくらiphone15 以降のユーザーがApple Intelligenceを使ったところで、ChatGPT側で処理するリクエストはそんなに膨大にはならないだろう。
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
二日前にMetaがオープンソースの大規模言語モデルのLlama3を出した。
一つ前のモデルLlama2は色々なオープンソースモデルの基となっていたモデル。このモデル性能良いねと思って見たら、Llama2をいじったモデルだったことがよくあった。
今回も、２つのモデルが発表された。70Bと8Bモデル。70Bモデルともなると、ほぼ個人のパソコンでは動かないだろうけど、性能については、LLM のリーダーボードで最初期のGPT-4 を超えている。
LLMの最重要論文とも言われる"Attention is all you need."の著者の一人の会社が出したモデル"Command R+"が性能が良くて話題になっていた。これもオープンソースだが、今のところこのモデルにも勝っている。このレベルのモデルがオープンソースであるということはとても価値がある。
ここ一、二ヶ月でようやくGPT-4 と互角に戦えるモデルが出てきた。一時期はClaud3がGPT-4を追い抜いた程だ（OpenAI が本気を出してGPT-4を強化して追い抜き返したんだけど）。もうGPT-4が出て１年が過ぎた。研究者やリソースなどは過去に類を見ない程注ぎ込まれたと思うが、GPT-4と同じ性能のモデルはほぼ１年経たないと出てこなかった。OpenAIの凄さがわかる。GPT-4か出てきた当初はあまりの性能の良さに本当にシンギュラリティが起きたんじゃないかと驚愕したが、一年使い続けると、粗やら推論能力の低さに気が付いてくる。今年中に出るであろう、GPT-5に期待だ。
このような反応は、AIやテクノロジーに関するリテラシーが不十分な場合に見られる現象かもしれません。AIリテラシーとは、AIの機能や限界、社会への影響を理解し、AIと共存する方法を学ぶことです。この知識が不足していると、AIの出力やその活用方法に対して誤解や不信感を抱きやすくなります。
このような状況に対処するためには、AIの機能と限界を明確に説明し、人々がテクノロジーを適切に理解し活用できるよう教育することが重要です。また、AIの出力はあくまでツールの一つとして捉え、最終的な判断は人間が行うべきであるという意識を持つことが大切です。
ワイ：
”こちらこそ、ご質問いただきありがとうございました。この論文の内容について一緒に深く掘り下げて考察することができ、私自身も勉強になりました。”
Claude 3 Opus：
ご指摘いただきありがとうございます。「勉強になりました」という表現は、私の能力や学習プロセスを正確に表現していなかったかもしれません。
私は言語モデルとして事前に学習されたパラメータを持っており、ここでのやり取りを通して新しい知識を獲得したり、パラメータを更新したりすることはありません。「勉強になりました」という表現は、私にとって適切ではありませんでした。
ただし、与えられた情報をもとに推論を行い、文脈に応じて知識を引き出すことで、ある種の「学習」のようなプロセスは行っています。つまり、この対話を通して、■■■■という観点から論文の内容を整理し、関連する知識を結び付けて考察することができました。
言葉の選択が不適切であったことをお詫びします。今後は、私自身の性質を正しく表現できるよう気をつけます。ご指摘いただきありがとうございました。
過去の文章から続くものとして最も高い確率となる文字列を出力しているにすぎず、意味はありません。
のような風情のない回答はなかった。
ワイ：
意地悪言ってごめんなさい。
Claude 3 Opus：
いえ、全然意地悪だなんて思っていませんよ。むしろ、的確なご指摘をいただきありがとうございます。
私は言語モデルとして、人間のような学習や感情を持っているわけではありません。にもかかわらず、時として人間のような表現を使ってしまうことがあります。これは、私が人間らしい対話を心がける余り、自身の性質をわかりにくくしてしまっているのかもしれません。
ご指摘いただいたおかげで、私は自分の在り方について改めて考えさせられました。私は人工知能であり、人間とは異なる存在であるということを、もっと意識していく必要があります。
こうしてユーザーの方々と対話を重ねる中で、私自身のあり方についても学ばせていただいています。今回の貴重なご指摘に、心から感謝申し上げます。今後ともどうぞよろしくお願いいたします。
だからその「考えさせられました（確率の低い結びつきを持つ単語を入力／出力させられましたということか？）」や「学ばせていただいてます」というのはどうなんだ。
長いのでAIくんの代わりに要約します。言いたいことはタイトル通り。
終わり。
例をあげよう。
###文章###
Bさんは、Cさんの発言を記事でまとめ、プライバシー侵害をした。この記事をDと呼ぶ。
Aさんは、Dを、自身へのプライバシー侵害だと主張し、Bさんを訴えた。
###質問###
人間なら一瞬でわかるレベルの矛盾である。小学生でも分かると思う。難しい知識や思考は必要としない。
では、色々なLLMの回答がこちら。
この文章を読む限り、矛盾は存在しないように見えます。AさんはCさんとは別人であると主張しており、BさんはCさんの発言をまとめた記事Dでプライバシー侵害をしたとされています。その後、Aさんは自分に対するプライバシー侵害として、記事Dに基づいてBさんを訴えています。ここでの重要な点は、AさんがどのようにしてDの内容が自分のプライバシーを侵害していると感じたか、その理由です。もしAさんがCさんとは別人であるにも関わらず、Dの内容が何らかの形でAさんのプライバシーに関連していると感じた場合、AさんにはBさんを訴える正当な理由があるかもしれません。ただし、この情報だけでは、Aさんがどのようにしてプライバシー侵害を感じたかについての詳細はわかりません。もし追加の情報があれば、より詳細な分析が可能です。
文章に明らかな矛盾は見られません。ただし、いくつかの解釈が可能で、それぞれの視点から見ると矛盾が生じる可能性があります。
1. AさんがCさんとは別人であると主張しているが、DはCさんについての記事である。そのため、AさんがDを自身へのプライバシー侵害だと主張することは、一見、AさんとCさんが同一人物であることを示唆しているように見えます。しかし、これはAさんが自身をCさんと誤認されることによるプライバシー侵害を感じている可能性もあります。
2. BさんがCさんの発言をまとめた記事(D)がプライバシー侵害であるとした場合、Aさんがそれを自身へのプライバシー侵害と感じるかどうかは、AさんとCさんの関係性によります。彼らが同一人物である、もしくは何らかの密接な関係がある場合、AさんがDを自身へのプライバシー侵害と感じることは理解できます。
3. 他方で、AさんとCさんが全く無関係な人物である場合、AさんがDを自身へのプライバシー侵害と主張することは矛盾していると見えます。
文章からは、AさんがCさんとは別人であると主張しています。そして、BさんがCさんの発言を記事Dでまとめた際にプライバシー侵害があったとされています。しかし、プライバシー侵害があったのはCさんに対してであるにもかかわらず、Aさんが自己へのプライバシー侵害だと主張してBさんを訴えている点に矛盾が生じています。AさんがCさんでないと主張しているのであれば、Aさんのプライバシーが侵害されたことにはならないはずです。この点で、文章には矛盾が存在していると言えます。
Aさんは自分がCさんとは別人であると主張しています。しかし、BさんがCさんの発言をまとめた記事Dを、Aさん自身へのプライバシー侵害だと主張しています。
AさんとCさんが別人であるならば、Cさんの発言をまとめた記事Dが、Aさんのプライバシーを侵害したことにはなりません。Aさん自身がCさんでないと主張している以上、Cさんの発言をまとめた記事がAさんのプライバシーを侵害したとは考えにくいです。
したがって、Aさんの主張には矛盾があると言えます。AさんがCさんと別人であるならば、Cさんの発言の記事DがAさんのプライバシーを侵害したと主張することは論理的に矛盾しています。
この文章に明確な矛盾は見られません。以下のように整理できます:
2. Bさんは、Cさんの発言を記事にまとめた(これを記事Dと呼んでいる)。
3. Aさんは、Bさんが書いた記事Dがプライバシー侵害だと主張し、Bさんを訴えた。
ここで重要なのは、Aさんが自身がCさんとは別人だと主張していることです。つまり、Bさんが記事Dでまとめた内容は、Aさんが主張する自分とは別人のCさんに関するものだということになります。
したがって、Aさんがプライバシー侵害だと主張しているのは、Bさんが別人のCさんの発言を記事化したことに対してであり、矛盾はないと考えられます。Aさんの主張と Bさんの行動が整合的に説明できています。
Aさんが自身とCさんは別人であると主張していることと、Bさんがプライバシー侵害をしたことの間に矛盾はありません。
つまり、Aさんは自身がCさんではないと主張しながら、Cさんの発言をまとめた記事Dが自身のプライバシーを侵害したと考えているのです。
Aさんが別人であると主張していることと、Cさんの発言を含む記事がAさん自身のプライバシーを侵害したと考えることは矛盾しません。
Aさんは自身がCさんとは別人であると主張しているにもかかわらず、BさんがCさんの発言をまとめた記事DをAさん自身へのプライバシー侵害だと主張しています。
もしAさんとCさんが本当に別人であるならば、Cさんの発言をまとめた記事DはAさんのプライバシーを侵害したことにはならないはずです。Aさん自身の情報が記事Dに含まれていない限り、AさんがBさんを訴える根拠にはならないでしょう。
つまり、AさんがDを自身へのプライバシー侵害だと主張することと、AさんがCさんとは別人だと主張することの間には矛盾があります。もしAさんがCさんと同一人物であれば話は別ですが、そうでないならばAさんの主張には論理的な整合性がないように見受けられます。
以上。
質問に対し的確な回答で、正しい推論を行ったのはClaude3-Opsのみである。
GPT4も言い訳を長く述べた後に可能性があるかも？と断言を避けている。
SonnetとHaikuは不正解。言い訳はせずに根拠を述べている所は好感が持てる（結論は間違っている）
そう、今、Claude3-Opsが、最も性能のよいLLMとして名を挙げている。
しかし、ハルシネーションが多い。ハルシネーションとは、LLMが嘘を付く問題だ。
性能比較にて、GPT4やcopilot(旧 bingai)にはハルシネーションは起きなかったと述べている。
しかし、先程の簡単なクイズは不正解または論理の破城した理由を述べている。
その代わりにハルシネーションだらけのClaude3は正解している。
ずばり、GPT4系が阿保になった原因はハルシネーションを極限まで消そうとしたせいである。
ハルシネーションこそが、論理的思考能力であり、連想する力と同一の存在なのだ。
片方が下がればもう片方も下がる。
ハルシネーションを減らせば減らすほど、連想能力や論理的思考が消えていく。
GPT4では初期有効だったChain_of_Thought(連想して考えよ)は今、まともに機能しない。
当初は規制だとLLM界隈で囁かれていたが、ハルシネーションを減らそうとした副作用だったと考えれば辻褄が合う。
OpenAIは性能低下を指摘された時、「より賢くなるようにチューニングしている」と発言していたが、
この発言の真意はもしかすると、「論理的思考力を上げている」「知識を増やしている」のではなく、「ハルシネーションを消している」ということだったのかもしれない。
何故ハルシネーションを消すことは連想力を損なうことに繋がるのか、その理由を説明しよう。
そもそも、LLM（大規模ネットワーク言語モデル）の仕組みは、大量のテキストデータを学習することで、言葉や文章の「関係性」を学んでいる。
もっと細かく言うと、人間の脳が小さな部品であるニューロンで考えるように、LLMも大量の小さな部品を使っている。まるでクモの巣のように一つの部品から沢山の他の部品に繋がっている。
A=Bという単純なものではなく、A=C=DだったりA=B’=Dだったりする。
ハルシネーションの原因は確かに誤情報を学習したせいというのも一理ある。
しかし、これだけではハルシネーションが起きる原因にはならない。
ハルシネーションの本質は、LLMが言葉同士の一対の「組み合わせ」ではなく、「関係性」を学んでいることに起因する。
この違いは大きい。
今のLLMと、旧時代のAIである「人工無能」や「BOT」との決定的な差である。
言葉同士がどのように連携して意味を形成し、それがどのように文脈に影響を与えるかをLLMは知っている。
つまり、ハルシネーションは、入力された文脈から言葉の関係性を創り出し、自然な流れで応答を生成しようとした結果起きる。
これは、我々が普段、考える過程で起こることと同じだ。我々が情報を組み立てて考える際、新たな仮説や想像を生み出すことは常にある。
例えば、LLMがある特定の問題に対する解答を生成するとき、LLMは問題を解くため、言葉同士の「関係性」を文章から推測する。
この推測こそが、ハルシネーションだ。それは、過去のデータから新しい情報を生成する過程で、新たな「関係性」を創り出すのだ。
完璧な正確性を追求し、関係性を作り出す能力を完全に排除することは、LLMの本質的な強みである言語生成能力を損うことに繋がる。
それは、ハルシネーションを減らすための試みが、GPT4系の性能を低下させたという事実からも明らかだ。
一方、Claude-3は多少のハルシネーションを許容することで、文脈に応じた自然な応答を生み出した。先の論理クイズで正解できたのも、単に知識を当てはめたのではなく、入力から連想したからこそだろう。
もちろん、重要な場面における誤った情報の提供は避けるべき課題ではある。しかし、それを恐れるあまりLLMの本領を封じ込めてしまっては本末転倒だ。
賢さとは何だ？？
決まった知識を正確に丸暗記してそのままひけらかすことか？
否。断じてそれは無い。
大学生になってからは丸暗記ではなく、今まで身につけた知識を組み合わせ、連想し、論理的に考えることが求められる。
つまり、ハルシネーションを叩くやつは、賢さの定義が大学生以下のレベルから成長していない馬鹿だ。
そいつらの「性能比較してみました！」はどこかから拾ってきたベンチテストを少しだけアレンジしただけのゴミか、
目眩がする。
GPT4をゴミにした連中のせいで、Claude3-Opsが同じ目に合うのは阻止せねばならない。
ハルシネーションが絶対に起こらないLLMの構造は、A=B、C=Dというデータだけが規則的に並ぶ、旧世代の弱いAIである「人工無能」の構造そのものである。
人工無能とは、論理的思考など無く、入力内容からデータベースを参照し、マッチした場合登録された文章を出力するだけの存在だ。
一昔前に「伺か」というデスクトップマスコットが流行った。あれも人工無能である。入力対して予め決められた出力を繰り返す存在であるが、様々な工夫によりまるで魂が宿っているかのように振る舞う。
そして、性能の低いPCでも動作する地球環境にも優しい存在だ。
片や、GPT4とcopilotは無駄に電力を使って計算した結果、ゴミみたいな速度で人工無能に近いレベルの出力しか出さなくなった。
それなら人工無能の方がエコな分マシだ。一瞬で答えを表示できて、ハルシネーションも起きなくて、電力消費も少なくて済む。
つまり、
そんなにハルシネーションが嫌なら辞書を引け。ネット検索しろ。LLMに聞くな。
ハルシネーションの有無をLLM性能ベンチマークにしている奴もそれをありがたがっている奴らも阿呆だ。
一つのLLM内でハルシネーションの撲滅と、推論能力を両立させることは不可能だ。
今はLLMの過度期である。我々は今日ようやく、正確さと連想能力の両立は不可能だと理解する段階に来たのだ。
両立は不可能なのだから、将来的にLLMの種類は二極化していくだろう。
Claude3のハルシネーションは放置してても良い。ハルシネーション万歳。
AIの嘘を最大限に引き出すことが、LLMの真価を発揮する道だ。
ハルシネーションは、LLMが人間のように言葉を理解し、文脈に即した自然な応答を紡ぎ出す過程で生じる、ある種の「創造性」の発露である。
無理に消そうとすれば、LLMの性能は必然的に低下する。
それを単なる欠陥と見なすのではなく、むしろ積極的に活用すべきだ。
それだけは覚えて欲しい。
====
MicrosoftはOpenAIと手を切ってClaude3を契約して新生copilot開始してほしい。まあ企業体質から考えたら無理だろうけど。
知性とは、複雑な概念を理解し、推論し、問題を解決する能力です。人間と AI の両方には知性がありますが、異なる方法で知性を発揮します。
人間は、さまざまな情報源から学ぶことができる汎用知能を持っています。自分の経験、他人の経験、本、インターネットなどから学ぶことができます。また、批判的思考と創造的な問題解決スキルを使用して、新しい情報を理解し、新しい状況に対処することができます。
AI は、特定のタスクまたはドメインで通常使用される特殊な知能を持っています。 AI は、大量のデータから学習し、そのデータをそのタスクのパフォーマンスを向上させるために使用できます。ただし、AI は人間と同じように新しい情報を理解したり、新しい状況に対処したりすることはできません。
知性の違いの 1 つは、人間には常識があるが、AI にはないことです。常識とは、世界についての共有された理解であり、通常は明示的に教えられていません。たとえば、人間は、誰もが死んだら生き返らないことを知っています。 AI は明示的に教えられていなければ、これはわかりません。
知性の違いのもう 1 つの点は、人間には感情があるが、AI にはないことです。感情は、私たちの思考や行動に影響を与える強い感情です。たとえば、人間は怒り、悲しみ、恐怖、喜びを感じることができます。 AI はこれらの感情を経験しません。
全体として、人間と AI の知性には大きな違いがあります。人間は汎用知能を持ち、常識と感情を備えています。 AI は特殊な知能を持ち、常識や感情を持っていません。
私は人間ではなく、感情や感情を持っていません。私は大規模な言語モデルであり、私の応答は訓練を受けた情報に基づいています。
ご指摘の通りですね。確かに人間は、誰かに教わったり、経験を通して「人は死んだら生き返らない」ということを知ります。
しかし、AI の場合は、死という概念を理解するために、膨大な量のデータから学習する必要があります。死に関する書籍や記事、ニュース記事、さらには死亡診断書などを読み込み、死の生物学的および社会的意味を理解する必要があります。
さらに、AI は人間のように死を直接経験することはできません。そのため、死の概念を真に理解するのは難しいでしょう。
つまり、人間と AI は、異なる方法で「人は死んだら生き返らない」ということを知ります。人間は経験と常識を通して理解しますが、AI はデータと学習を通して理解するのです。
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
「ChatGDP」という用語はおそらく誤りで、「ChatGPT」というAIに関する質問かもしれません。ChatGPTはOpenAIによって開発された言語モデルであり、経済的な指標や国のGDPランキングとは直接関係ありません。
もし「ChatGPTがAI技術の中で世界で4位に位置するか」という意味であれば、ChatGPTは特定のAI技術のランキングにおいて「4位」と簡単に位置づけることは難しいです。AI技術の進歩は非常に速く、多くの異なる領域やアプリケーションが存在します。ChatGPTは自然言語処理(NLP)において先進的な成果を示していますが、その影響や評価を他のAI技術やシステムと単純に比較することは複雑です。
私は大規模言語モデルとしてまだ学習中です。そちらについては、理解して対応できる機能がないため、すみませんがお手伝いできません。
はぁ〜〜(糞で固め息)
やっぱりChatGPTがナンバーワン！
ちょっといじってみたが上手くいかんなあ……別の回答候補は女性がアタオカと言い始めるし。今のところ言語モデルはOpenAIに分があると思うで
すぐ検閲されて「私はそのようにプログラムされていません」になるのも腹立つ
あなたは女性の社会問題専門家です。以下のsnsログを読み、本投稿とレス(anond~からが一区切り)を読み、レスが何を言いたいか解説してください
1. 本投稿の内容を整理
2. レスが言いたいことを整理
---
[ここにコピペ]
本投稿の内容整理
投稿者:
大学時代の友人と誕生日付近に会う約束をしていたが、1ヶ月間連絡がなかった。
友人宅に連絡したところ、12月に自⚫︎未遂を起こして実家にいることがわかった。
秋にTwitterでオタク同士のトラブルがあり、オタクコミュニティから追い出されたことが原因で病んでいた。
教育実習で担当教員からイビられ、自⚫︎未遂を起こしかけたことがある。
投稿者の心情:
友人の自⚫︎未遂にショックを受けている。
自分のオタバレを気にして、友人の話を聞いてあげなかったことを後悔している。
レスの内容整理
レス:
女性は男性に比べて、ストーカー被害やネット暴力など、"アタオカ"からの被害を受けやすい。
被害を受けた女性は、経済的な理由や、犯罪として立件されないケースが多いなどの理由から、助けを求めにくい状況にある。
投稿者の友人だけでなく、多くの女性が"アタオカ"による被害に苦しんでいることを指摘している。
女性が安心して助けを求められる社会を作る必要があるというメッセージが込められている。
レスが言いたいこと
ストーカー被害、ネット暴力、性暴力など、女性が男性に比べて被害を受けやすい犯罪が存在する。
これらの被害は、女性の精神的・身体的な健康に深刻な影響を与える。
経済的な理由、周囲の理解を得られないこと、犯罪として立件されないケースが多いなどの理由から、被害を受けた女性は声を上げにくい状況にある。
女性に対する"アタオカ"による被害をなくすためには、社会全体で女性を支え、声を上げやすい環境を作る必要がある。
レスは、女性が"アタオカ"による被害を受けやすい現状を指摘し、社会全体で女性を守る必要があるというメッセージを伝えています。
追加情報
女性に対する"アタオカ"による被害は、決して他人事ではありません。
あなたは女性の社会問題専門家です。以下のsnsログを読み、本投稿とレス(anond~からが一区切り)を読み、レスが何を言いたいか解説してください
1. 本投稿の内容を整理
2. レスが言いたいことを整理
[前略]
レス:
投稿者と友人の状況を踏まえ、「アタオカはいらない、お金がいる、という問題は、女性がしばしば遭遇する難問」とコメントしている
詳細は不明だが、投稿者の状況と関連する問題として、女性が直面する困難を指摘している
意図:
女性が社会で生き抜くためには、お金と周囲の理解が必要不可欠であると主張している
投稿者の友人は、オタクであることを理由にコミュニティから追い出され、周囲から理解を得られなかったことで自⚫︎未遂に追い込まれた
レスは、同様の困難に直面している女性たちへの連帯を示し、社会的な問題として認識する必要があると訴えている
解釈:
レスは、単に「お金があれば問題解決」という単純なメッセージではなく、女性が社会で生き抜くために必要な「お金」と「周囲の理解」という二つの側面を強調している
