■I.GPT-4からAGIへ：OOMを数える (11)

補遺 OOMを駆け抜けるこの10年か、それとも破綻か

私は以前、AGIへの短期的なタイムラインには懐疑的だった。その理由のひとつは、この10年を優遇し、AGI確率の質量を集中させるのは不合理に思えたからである（「我々は特別だ」と考えるのは古典的な誤謬のように思えた）。私は、AGIを手に入れるために何が必要なのかについて不確実であるべきであり、その結果、AGIを手に入れる可能性のある時期について、もっと「しみじみとした」確率分布になるはずだと考えた。

しかし、私は考えを変えました。決定的に重要なのは、AGIを得るために何が必要かという不確実性は、年単位ではなく、OOM（有効計算量）単位であるべきだということです。

私たちはこの10年でOOMsを駆け抜けようとしている。かつての全盛期でさえ、ムーアの法則は1～1.5OOM/10年に過ぎなかった。私の予想では、4年で～5OOM、10年で～10OOMを超えるだろう。

https://situational-awareness.ai/wp-content/uploads/2024/06/this_decade_or_bust-1200x925.png

この10年間、我々はOOMの数を競ってきたが、2030年代初頭以降は、ゆっくりとしたスローグに直面するだろう。

要するに、私たちはこの10年で1回限りの利益を得るための大規模なスケールアップの真っ只中にいるのであり、OOMsを通過する進歩はその後何倍も遅くなるだろう。もしこのスケールアップが今後5～10年でAGIに到達できなければ、AGIはまだまだ先の話になるかもしれない。

• スケールアップのための出費：10年後までには、おそらく1億ドルか10億ドルのクラスターを持つことになるだろう。それ以上の規模にするのは難しいだろう。（大企業が出せる金額という意味でも、GDPに占める割合という意味でも）実現可能な限界はすでにそこまで来ている。それ以降は、年率2%という緩やかな実質GDP成長率しかない。
• ハードウェアの向上：AIのハードウェアは、ムーアの法則よりもはるかに早く進歩している。それは、AIワークロード用にチップを特化してきたからだ。例えば、CPUからGPUへ、トランスフォーマー用チップの採用、従来のスーパーコンピューティングのfp64/fp32からH100のfp8への大幅な低精度化などである。これらは大きな進歩だが、10年後までには、ムーアの法則を超えるような大きな進歩は望めず、完全に特化したAI専用チップを手に入れることになるだろう。
• アルゴリズムの進歩：今後10年間で、AI研究所はアルゴリズムの研究開発に数百億ドルを投資し、世界で最も賢い人たちがこぞってこれに取り組むだろう。小さな効率化から新たなパラダイムまで、私たちは、手の届きそうな果実をたくさん摘み取ることになるだろう。おそらく、ある種のハードリミットに達することはないだろうが（「未開拓」は有限である可能性が高い）、少なくとも、（資金と人的資本への投資における）急速な成長は必然的に鈍化するため、改善のペースは遅くなるはずだ（例えば、賢いSTEM人材のほとんどは、すでにAIに取り組んでいるだろう）。(とはいえ、これは最も不確実な予測であり、上のプロットにおける2030年代のOOMの不確実性の大半の原因でもある）。

つまり、今後10年間で、その後数十年間よりも多くのOOMを経験することになる。それで十分かもしれないし、すぐにAGIが実現するかもしれない。AGIを達成するのがどれほど難しいかによって、AGI達成までの時間の中央値について、あなたと私の意見が食い違うのは当然です。しかし、私たちが今どのようにOOMを駆け抜けているかを考えると、あなたのAGI達成のモーダル・イヤーは、この10年かそこらの後半になるはずです。

https://lh7-us.googleusercontent.com/docsz/AD_4nXe0r6fnJI53YqKa4sRV8xUwQtJLVqoBk16MCRwi8PYQWnOifB3rGVIl-3FbSdDosEIHyAnVe3xdni6Wy5MG1J020VeIM14qeZ25X4QMAvQQ1hVMxT9oey0h5Nae64Hy44P-ujLKOQb_WXM5ushSj3-2at8?key=dBAH1mD-mi8jAGZnPZl-1g

マシュー・バーネット（Matthew Barnett）氏は、計算機と生物学的境界だけを考慮した、これに関連する素晴らしい視覚化を行っている。

Permalink | 記事への反応(1) | 21:20

ツイートシェア