2024-06-05

状況認識:今後10年の展望 -- はじめに

X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料API経由) で訳してみた。

レオポルド・アッシェンブレナ2024年6月

サンフランシスコに行けば、まず未来が見える。

この1年で、街の話題100億ドルコンピュート・クラスターから1000億ドルクラスター、そして1兆ドルクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカ大企業は、アメリカ産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州シェールフィールドからネバダ州太陽光発電所まで、何億ものGPUが稼働する。

AGI競争が始まったのだ。私たち思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的競争になり、運が悪ければ全面戦争になる。

今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaアナリストは、まだ2024年ピークに近いと考えている。主流派評論家たちは、「次の言葉予測するだけだ」という故意盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ

やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコAI研究所にいる。運命不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAI進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマーテラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。

私たちが見ているものを教えよう。

目次

エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイPDF版はこちら。

はじめに 【このページ】

歴史サンフランシスコで生きている

I.GPT-4からAGIへOOM(Orders of Magnitude)を数える

2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは~未就学児から~賢い高校生までの能力を手に入れた。計算能力(~0.5桁またはOOMs/年)、アルゴリズム効率(~0.5OOMs/年)、および「趣味のない」向上(チャットボットからエージェントへ)のトレンドライントレースすると、2027年までに再び未就学児から高校生サイズ質的ジャンプが起こると予想される。

II.AGIから超知能へ:知性の爆発

AI進歩人間レベルでは止まらない。何億ものAGIがAI研究自動化し、10年に及ぶアルゴリズム進歩(5以上のOOM)を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力危険性は劇的なものとなるだろう。

III.課題
IIIa.兆ドルクラスタへの競争

驚異的な技術資本の加速が始まっている。AI収益が急増するにつれ、10年末までに何兆ドルもの資金GPUデータセンター、電力の増強に投入されるだろう。米国の電力生産を数十%増加させるなど、産業界の動員は激しくなるだろう。

IIIb.研究所の封鎖AGIのセキュリティ

米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力必要であり、我々はその軌道に乗っていない。

IIIc.スーパーアライメント

我々よりもはるかに賢いAIシステムを確実に制御することは、未解決技術問題である解決可能問題ではあるが、急速な知能の爆発が起きれば、物事簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。

IIId.自由世界勝利しなければならない

スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか?そして、その過程で自滅を避けることができるのだろうか?

IV.プロジェクト

AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27~28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。

V.おわりに

もし我々が正しかったら?

――――――――

私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報私自身のアイデア一般的な現場知識、あるいはSFゴシップに基づいている。

Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益議論感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン出版を手伝ってくれたニック・ウィテカーに感謝する。

イリヤスーツバーに捧ぐ。

続き I.GPT-4からAGIへ:OOMを数える(1) https://anond.hatelabo.jp/20240605203849

  • データの壁 これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なア...

    • アルゴリズムの効率化 コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる(そして、これまで劇的に過小評価され...

      • OOMを数える どうしてこうなった?ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫して...

        • ディープラーニングのトレンド 過去10年間のディープラーニングの進歩のペースは、まさに驚異的だった。ほんの10年前、ディープラーニング・システムが単純な画像を識別することは...

          • この4年間 私たちは今、基本的に人間のように会話できるマシンを手にしている。これが普通に思えるのは、人間の適応能力の驚くべき証であり、私たちは進歩のペースに慣れてしまっ...

            • X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。 レオポルド・アッシェ...

            • 2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力(~0.5桁またはOOMs/年)、アルゴリズ...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん