  |
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは〜未就学児から〜賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生規模の質的ジャンプが起こると予想される。
見て。モデルたちはただ学びたいだけなんだ。あなたはこれを理解しなければならない。モデルたちは、ただ学びたいだけなんだ。
GPT-4の能力は、多くの人に衝撃を与えた。コードやエッセイを書くことができ、難しい数学の問題を推論し、大学の試験を突破することができるAIシステムである。数年前までは、これらは難攻不落の壁だと思っていた。
しかしGPT-4は、ディープラーニングにおける10年間の猛烈な進歩の延長線上にあった。その10年前、モデルは犬猫の単純な画像を識別するのがやっとだった。4年前、GPT-2は半可通な文章をつなぎ合わせるのがやっとだった。今、私たちは思いつく限りのベンチマークを急速に飽和させつつある。しかし、この劇的な進歩は、ディープラーニングのスケールアップにおける一貫した傾向の結果に過ぎない。
ずっと以前から、このことを見抜いていた人々がいた。彼らは嘲笑されたが、彼らがしたのはトレンドラインを信じることだけだった。トレンドラインは強烈で、彼らは正しかった。モデルはただ学びたいだけなのだ。
私は次のように主張する。2027年までには、モデルがAIの研究者やエンジニアの仕事をこなせるようになるだろう、と。SFを信じる必要はなく、グラフ上の直線を信じるだけでいいのだ。
https://situational-awareness.ai/wp-content/uploads/2024/06/base_scaleup-1024x790.png
過去と将来の有効計算量（物理計算量とアルゴリズム効率の両方）の大まかな見積もり。モデルをスケールアップすればするほど、モデルは一貫して賢くなり、"OOMを数える "ことによって、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができます。(このグラフはベースモデルのスケールアップのみを示している。）
この記事で取り上げた一般的な推定に基づく、効果的な計算（物理的な計算とアルゴリズムの効率の両方）の過去と将来のスケールアップの概算。モデルをスケールアップするにつれ、モデルは一貫して賢くなり、「OOMを数える」ことで、（近い）将来に期待されるモデルのインテリジェンスの大まかな感覚を得ることができる。(このグラフはベースモデルのスケールアップのみを示している。"unobblings "は描かれていない)。
この作品では、単純に「OOMを数える」(OOM = order of magnitude、10x = 1 order of magnitude)ことにします。1)計算、2)アルゴリズム効率(「効果的な計算」の成長として考えることができるアルゴリズムの進歩)、3)「アンホブリング」(モデルがデフォルトで足かせとなっている明らかな方法を修正し、潜在的な能力を引き出し、ツールを与えることで、有用性を段階的に変化させること)の傾向を見ます。GPT-4以前の4年間と、GPT-4後の2027年末までの4年間に期待されるそれぞれの成長を追跡する。ディープラーニングが効率的な計算のすべてのOOMで一貫して向上していることを考えると、将来の進歩を予測するためにこれを使うことができる。
世間では、GPT-4のリリースから1年間、次世代モデルがオーブンに入ったままであったため、ディープラーニングは停滞し、壁にぶつかっていると宣言する人もいた。しかし、OOMをカウントすることで、私たちは実際に何を期待すべきかを垣間見ることができる。
結果は非常にシンプルだ。GPT-2からGPT-4への移行は、時々まとまりのある文章を並べることに感動的だったモデルから、高校入試のエースになるモデルへの移行であり、一度だけの進歩ではない。私たちはOOMsを極めて急速に克服しており、その数値は、4年以上かけてGPT-2からGPT-4への質的なジャンプをさらに～100,000倍の効果的なコンピュート・スケールアップが期待できることを示している。さらに、決定的なことは、それは単にチャットボットの改良を意味しないということだ。"unhobbling "利益に関する多くの明らかな低空飛行の果実を選ぶことで、チャットボットからエージェントへ、ツールからドロップイン・リモートワーカーの代替のようなものへと我々を導いてくれるはずだ。
推論は単純だが、その意味するところは注目に値する。このような別のジャンプは、私たちをAGIに、博士号や同僚として私たちのそばで働くことができる専門家と同じくらい賢いモデルに連れて行く可能性が非常に高い。おそらく最も重要なことは、これらのAIシステムがAI研究そのものを自動化することができれば、次回のテーマである強烈なフィードバック・ループが動き出すということである。
現在でも、このようなことを計算に入れている人はほとんどいない。しかし、AIに関する状況認識は、一歩下がってトレンドを見てみれば、実はそれほど難しいことではない。AIの能力に驚き続けるなら、OOMを数え始めればいい。
続き I.GPT-4からAGIへ：OOMを数える (2) https://anond.hatelabo.jp/20240605204240
それはあるな
海外では移民難民へのホームステイを行ったりしてるけど、移民難民を擁護するデモの人たちにホームステイ先として登録するように勧めても誰も受け入れなかったとかあった気がする
昔々、ある小さな村に、年老いたロバ、犬、猫、そして鶏が住んでいました。それぞれの動物たちは、一度は村で重要な役割を果たしていましたが、年を取るにつれて、その価値が認められなくなり、主人たちからも冷たく扱われるようになりました。
ある日、ロバは主人に言いました。「もう役に立たないと言われた。これからは自分の道を進むんだ。ブレーメンへ行って音楽家になろうと思う。」犬、猫、鶏も同じように、もはや主人にとって役に立たない存在とされ、ロバの提案に賛成しました。
彼らは力を合わせて旅を続けることにしました。旅の途中で彼らはある森に迷い込みました。森の奥深くで彼らは立派な館を見つけました。館の中からは、楽しそうな笑い声と音楽が聞こえてきます。動物たちは館に近づいて窓から中を覗いてみました。そこには、社会から疎外され、認められない弱者男性たちが集まっていました。彼らは能力や努力に見合う評価を受けられず、日々の生活に困窮し、心に傷を抱えていました。
ロバは言いました。「この館を乗っ取って、ここを私たちの新しい家にしよう。」他の動物たちもその考えに賛成しました。そして、彼らは知恵を絞って、弱者男性たちを驚かせ、追い出す計画を立てました。
まず、ロバが大きな声で鳴き始め、犬が吠え、猫が鳴き、鶏が鳴きました。その音に驚いた弱者男性たちは、館に幽霊が現れたと勘違いして一斉に逃げ出しました。動物たちは館に入って、安全な場所を確保しました。
弱者男性たちは森の中に逃げ出し、夜を明かしましたが、その運命は過酷なものでした。彼らは再び社会から疎外され、生活の糧を見つけることができませんでした。彼らの不幸な末路はそれぞれ異なりましたが、いずれも悲惨なものでした。
一人の男性は寒さと飢えに耐えきれず、森の中で凍死しました。もう一人は飢えと疲れから倒れ、野犬に襲われて命を落としました。他の男性たちも次々と力尽き、誰一人として幸せな結末を迎えることはありませんでした。
動物たちは館を手に入れた後、平和な日々を過ごしました。彼らは音楽を奏で、人々に希望と喜びを与える存在となりました。彼らの音楽は村中に響き渡り、村人たちに愛されるようになりました。
・上流階級の人々が、ほとんどコストをかけずに主張することでステータスを獲得できるような信念
・主張することで、自らのアイデンティティや価値観を表現することができる
