私は以前、AGIへの短期的なタイムラインには懐疑的だった。その理由のひとつは、この10年を優遇し、AGI確率の質量を集中させるのは不合理に思えたからである（「我々は特別だ」と考えるのは古典的な誤謬のように思えた）。私は、AGIを手に入れるために何が必要なのかについて不確実であるべきであり、その結果、AGIを手に入れる可能性のある時期について、もっと「しみじみとした」確率分布になるはずだと考えた。

しかし、私は考えを変えました。決定的に重要なのは、AGIを得るために何が必要かという不確実性は、年単位ではなく、OOM（有効計算量）単位であるべきだということです。

私たちはこの10年でOOMsを駆け抜けようとしている。かつての全盛期でさえ、ムーアの法則は1～1.5OOM/10年に過ぎなかった。私の予想では、4年で～5OOM、10年で～10 OOMを超えるだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/this_decade_or_bust-1200x925.png

この10年間、我々はOOMの数を競ってきたが、2030年代初頭以降は、ゆっくりとしたスローグに直面するだろう。

要するに、私たちはこの10年で1回限りの利益を得るための大規模なスケールアップの真っ只中にいるのであり、OOMsを通過する進歩はその後何倍も遅くなるだろう。もしこのスケールアップが今後5～10年でAGIに到達できなければ、AGIはまだまだ先の話になるかもしれない。

スケールアップのための出費：10年後までには、おそらく1億ドルか10億ドルのクラスターを持つことになるだろう。それ以上の規模にするのは難しいだろう。（大企業が出せる金額という意味でも、GDPに占める割合という意味でも）実現可能な限界はすでにそこまで来ている。それ以降は、年率2%という緩やかな実質GDP成長率しかない。
ハードウェアの向上：AIのハードウェアは、ムーアの法則よりもはるかに早く進歩している。それは、AIワークロード用にチップを特化してきたからだ。例えば、CPU から GPUへ、トランスフォーマー用チップの採用、従来のスーパーコンピューティングのfp64/fp32からH100のfp8への大幅な低精度化などである。これらは大きな進歩だが、10年後までには、ムーアの法則を超えるような大きな進歩は望めず、完全に特化したAI専用チップを手に入れることになるだろう。
アルゴリズムの進歩：今後10年間で、AI 研究所はアルゴリズムの研究開発に数百億ドルを投資し、世界で最も賢い人たちがこぞってこれに取り組むだろう。小さな効率化から新たなパラダイムまで、私たちは、手の届きそうな果実をたくさん摘み取ることになるだろう。おそらく、ある種のハードリミットに達することはないだろうが（「未開拓」は有限である可能性が高い）、少なくとも、（資金と人的資本への投資における）急速な成長は必然的に鈍化するため、改善のペースは遅くなるはずだ（例えば、賢いSTEM 人材のほとんどは、すでにAIに取り組んでいるだろう）。(とはいえ、これは最も不確実な予測であり、上のプロットにおける2030年代のOOMの不確実性の大半の原因でもある）。

つまり、今後10年間で、その後数十年間よりも多くのOOMを経験することになる。それで十分かもしれないし、すぐにAGIが実現するかもしれない。AGIを達成するのがどれほど難しいかによって、AGI達成までの時間の中央値について、あなたと私の意見が食い違うのは当然です。しかし、私たちが今どのようにOOMを駆け抜けているかを考えると、あなたのAGI達成のモーダル・イヤーは、この10年かそこらの後半になるはずです。

https://lh7-us.googleusercontent.com/docsz/AD_4nXe0r6fnJI53YqKa4sRV8xUwQtJLVqoBk16MCRwi8PYQWnOifB3rGVIl-3FbSdDosEIHyAnVe3xdni6Wy5MG1J020VeIM14qeZ25X4QMAvQQ1hVMxT9oey0h5Nae64Hy44P-ujLKOQb_WXM5ushSj3-2at8?key=dBAH1mD-mi8jAGZnPZl-1g

マシュー・バーネット（Matthew Barnett）氏は、計算機と生物学的境界だけを考慮した、これに関連する素晴らしい視覚化を行っている。

Permalink | 記事への反応(1) | 21:20

■I.GPT-4からAGIへ：OOMを数える (5)

アルゴリズムの効率化

コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。

アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。

https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png

MATHのパフォーマンスを〜50%にするために必要な推論コストの概算。

これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。

この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにします。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。

一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。

アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から 2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。

https://situational-awareness.ai/wp-content/uploads/2024/06/pareto_frontiers_imagenet_epoch-1024x349.png

アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.

これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。

残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から 2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。

https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png

Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。

より直接的に過去4年間を見ると、GPT-2から GPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：

我々はAPIコストから利益を推測することができる：
- GPT-4がリリースされたときのコストは、性能の絶対的な向上にもかかわらず、GPT-3とほぼ同じだった。(スケーリング法則に基づく素朴で単純化しすぎた見積もりをしてみると、GPT-3から GPT-4への実質的な計算量増加のおよそ半分がアルゴリズムの改善によるものであることがわかります)。
- 1年前のGPT-4のリリース以来、GPT-4レベルのモデルのOpenAIの価格は、GPT-4oのリリースでさらに6倍/4倍(入力/出力)に下がりました。

最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。

チンチラ・スケーリング法則は、3倍以上（0.5 OOMs以上）の効率向上をもたらす。
Gemini 1.5 Proは、MoE（Mixture of Experts）をアーキテクチャの変更点として強調し、大幅な計算効率の向上（Gemini 1.0 Ultraを凌駕し、計算量は「大幅に少ない」）を主張している。他の論文でも、MoEによるコンピュートの大幅な倍増が主張されている。
アーキテクチャ、データ、トレーニングスタックなどについては、常に多くの調整と改善が行われている。

公開されている情報を総合すると、GPT-2から GPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。

https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png

GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまり GPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAI ラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。