  |
はてなキーワード: 先見の明とは
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
「失敗したら誰も助けてくれないかも」程度の不安で行動をやめるやつが
イノベーションを起こす胆力があるのかというとない
そもそもイノベーションって誰に認められなくても突っ走る精神力と先見の明と才能がないとダメじゃん
なんでイノベーション起こす人間と、失敗の不安で行動を起こさなくなるメンタル弱弱人間が
同一人物ってことになってるの？
まっすーの中では一致するの？
いわゆる成功者なんて心身ともにタフなゴリラかサイコパスばっかりなのに？
そもそも不安なやつって一つの不安取り除いたって次から次に不安になるから、成功に至るには精神力を試される試練ばっかだし。そんな生やさしい話じゃないし。
漫画の読みすぎじゃない？
こういうのって上位10%や下位10%くらいの企業はあんまり変わってなくて、うちみたいな業界でも準大手くらいのとこが顕著なのかも。
10年前くらいに下がって、最近さらに下がったといえばいいのか。
自分は人事じゃないけど、若い頃は出身の研究室まわってリクルート活動するくらいには修士以上の採用に積極的だった。
そのかいあってか近い世代だと地方国立の理系の修士以上ばかりだった。
それが今年は修士は一人、出身大学も地方国立の理系が2人いるくらいで偏差値も低め。
その一人の修士が名工大で、それでもここ数年では快挙と言われているくらい採用できていない。
高専生を青田刈りする方が良いのでは？みたいなことを思うくらいにキツイ。
系列の大学や高専持ってる企業は先見の明があったよね、最低限の質を担保できる。
更に言うと、そういう新入社員と賃金差が縮まってるのもキツイ。
長年勤めても報われないから新入社員の採用にも苦労してるとまで言うと我田引水が過ぎるかもしれないけど、
賃金カーブの調整といって上はそのままで底上げしても先を考えられる人は入らないと思うよ。
先日、知り合いAの披露宴に出席した。Aは大学時代の同級生で、同じサークルに所属していた。
インターネットで1年前に共通の趣味を通じて知り合い…といった感じで馴れ初めが紹介されていたが、一つ大きな嘘がある。
二人が知り合ったのは8年前。そして付き合い始めたのは5年前だ。
二人はあるFPSを通じて出会った。ほぼ毎日ゲームを一緒にやっている中で、次第に親密になっていった。
気づけば二人はフレンドを超えた関係になっていた。
だから、結婚すると聞いたときは驚いた。成人したBはもはやストライクゾーン外なのではないか、と。
だがそうではないらしい。Aは別に若い女の子が好きなわけではなかった。むしろ、世間一般の女性に対する忌避感が強かったそうだ。
だから、「婚姻相手の青田買い、企業で言うところのインターン採用」をしたらしい。
Bの可能性を見込み、市場価値の付かない内から手を付けておく。時間と金を大量に投資し、世間の価値観に汚染される前に、自分にとって理想の女性へと育て上げる。
どうやらそれは成功したようだ。
披露宴で見たBはとても美しかった。そして話してみると人当たりの良さと聡明さを感じた。
事実、Bは一流の大学に通っている。それも、Aが受験勉強を教えていた賜物かもしれない。
Bによれば、Aは大学受験に向けて高校3年間をずっと伴走していたそうだ。
特に受験前の1週間は、長期休暇を取って最後の対策に付き合った。
Aは新課程用に独自に研究した想定問題を用意し、実際、その内の数学の1問は当たったらしい。
俺が言うのもおかしな話だが、きっとそれはBにとっても幸せなことだったと思う。
Aは悪いやつじゃないし、社会的なステータスも同世代に比べれば二回り以上高い。
仮に彼女がAと出会わなかったとしたら、彼女が大学に行くことは無かっただろう。
そうして、生まれ育った町で高校卒業と同時に就職し、そこで骨を埋めただろう。
ああ、俺は8年間何をしていた？
同世代の女とくっついた別れたを繰り返して、無為に過ごしていただけだ。
そうして今は婚活市場に身を投じ、非常識な人間に精神をすり減らし、デートのために馬鹿にならない金額を出費し、未だに結果は出ていない。
Aは俺みたいになるはずだった。同じ穴のムジナだと勝手に思っていた。でもそうはならなかった。
俺はAが羨ましい。Aの先見の明、度胸、そして狡猾さが羨ましい。
Bはきっと、良い妻にも、母にもなるだろう。その学歴と人当たりの良さがあれば、キャリアを積むのも容易いだろう。
Aは先見の明と長期戦略を以て、あらゆる経済的･社会的リスクを背負い、婚活市場で最も価値のある20代の時期すらも犠牲にして、Bの教育に費やした。
そうして、賭けたものに見合ったリターンを得た。
Aは大きな賭けに勝った。ただそれだけのことだ。
二人の進む道に幸あらんことを。
小さい頃はまだ闇市が主流でね、物心ついた時には姉と一緒に焼いた豚の鼻なんかを食べたりしていた。
生まれは田舎で、たぬきがとことこ歩く姿をよく見かけたりしながら小学校へと登校したもんだ。
人里離れた村だったけど学校は立派な木造で、生徒の数もそれなりに居たんだよ。
当時はまあ大した娯楽もなかったのだし、子供の数が多いのが普通だったんだ。
中学、高校と実家暮らしで、大学入学と共に上京することに決めた。
懐かしいなぁ。あのとき母さんと姉ちゃんが駅まで迎えに来てさ、汽笛が鳴ってゆっくり動き出すと二人とも映画みたいに走ってさ、泣きながら「がんばれ！」って声をかけてくれた。
俺もおんおん泣いて「頑張るから！」と姿の見えなくなった二人にも聞こえるように必死に叫んだ。
だから死ぬ気で勉強をして、大学の頃はあまり遊ばなかったなぁ。
少しでもいい会社に入りたい。それで、ちゃんと仕送りして、恩返しがしたい。
そんな思いでいっぱいだった。
努力の甲斐もあって名の通った一流企業に就職してからすぐバブルになった。
新入社員でも給料はうなぎ上りで、毎晩先輩や同僚と夜の街に繰り出しったけ。
すべてが眩かった。
大学時代、特に想い出がなかったせいもあって、そうした思いは顕著だった。
その後、バブルは本物の泡のようにあっけなく弾けた。
翌日、出社すると他の皆が思いのほか落ち込んでもいなかったのが印象的で、仕事終わりにはいつものように飲みに言った。
でも、少しだけ口数が少なかった気がする。沈黙は雄弁だった。
その後PCが一般家庭にも流通するようになり、俺は95を買った。
家に来た初めてのパソコンがそれで、今では考えられないくらいモニターは分厚かった。キーボードも深い。
時代の流れというのは時に緩やかで、時に激しい。
それは俺の幼少時代と社会人時代を対比させているようであり、技術の進歩は目まぐるしかった。
30手前の頃、PS2が発売され、それでも俺はドリームキャストを買った。
先見の明があるから、と当時はそう語ったが、今にして思えば単に傾いていたかったのだろう。
それでも初めてKanonをプレイしたときの衝撃は今でも覚えているし、だからDCを選んだことに悔いはない。
30も半ばになると今度はVRと来たもんだ。
時代の変化は早いものだなと感心し、ファーストペンギンのつもりで飛び込んだ。
実際PS4のVRは凄かったし、最初は本当にサメに食われるんじゃないかって冷や汗を搔いたほどだ。
あの時の背中の冷たさは今でもはっきり憶えている。でも、VRは思ったより流行らなかったな…。
あれだけ、地上作戦を止めろ、可哀想、ニュースぐらい見ろ、戦争犯罪が行われています、興めよ（興味を持てよ）……的なことを言っていた皆さんも、めっきり興味を失い、それについて何かを言うことはなくなってしまった。
終わったからじゃないよ。
危惧されたことが今まさに起きてる、一番の勢いで戦争が進んでいるのにだよ。
イスラエルについて話すのはもうつまらなくなって、フリーレンの話やクルド人の話や男女論の話をするのに忙しい。
だが俺はお前らを責めはしない。
起きたことについて、もはや語る言葉はないだろ。興味を持つことすら辛い。目を逸らす。
俺には先見の明があるので、最初からそうだった。ハマスがテロを起こした時点で、判っていたことだ。地上作戦は起きる。避けようがない。人は死ぬと決まっていた。
それについて何か言えというほうが無理。
