  |
はてなキーワード: 間抜けとは
自民党にすり寄って自分達のザル法が受け入れられなかったから自民党と喧嘩
丸呑みにしてもらったーとか喜んでるけど結局ザル法はザル法だから自民党と同じ穴の狢である事を野党の癖にアピールしただけで何がしたいのか謎過ぎ
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
三菱UFJリサーチが出したサマリレポートにブクマが集まっているのだが、
『地政学リスクの全体像の整理 | 三菱UFJリサーチ&コンサルティング』
https://b.hatena.ne.jp/entry/s/www.murc.jp/library/economyresearch/analysis/research/report_240528/
そこで「よくまとまっている」とかコメントしてるブクマカが数人いて失笑するするしかない。なんだよそのエラソーな態度はｗ
そもそもネットで国際関係に関して調べる時、膨大なゴミ情報が掛かり易いわけだ。だからこういう金融系シンクタンクのレポートが出てくるまで検索を続ける、出てくるまで検索式を変えてみるっていう風に一定の基準とされる事が多いもんだろ。
大学のレポートでどっかのインフルエンサの動画を参照したとかネットで活躍する誰それのメルマガ参照とか書いたらリジェクトされるし、仕事でやったら馬鹿のレッテル貼られて渉外的な仕事からは一生干される。そういう意味で安牌なのがこういう金融系シンクタンクなわけだ。
仮にその予想や分析が間違っていても格好はつく。
特に今回みたいな「地政学リスク」を論じる時には重要だ。何しろこの10年の日本で「地政学」と来たら新聞も読まない馬鹿向けコンテンツとして有名だ。
なんでそうなるかというと、元々日本での地政学アゲの元祖は90年代の福田和也で、反米＋知的スノビズムなのよ。
一方で80年代末に急な円高による海外旅行ブームと対米貿易摩擦があった。これに刺激されて「国際的」というのがバズワード化して、多くの大学に「国際学科」なんかが雨後の筍のように出来たのだが、元が必要に迫られた国際化なのでこれ以後特にビジネス教養として国際関係が重要視されるようになった。
この「国際政治と国際経済を中核とした常識化した教養」が無い人にとって「地政学」とやらはもの凄く魅惑的で、それらの踏まえなきゃならん常識を無視して、他国の本質も見えるし物事が明瞭に見える。
なんでそんなに明瞭に見えるかって言えば、白紙だからだ。白紙に線引きゃ明瞭だし自由に引ける、A国の隣にB国がある、とか中国の概要進出をブロックする形で日本列島がある、とかそういう目で見て直ぐに判るような事ばかりで構成される。
「本質が見える」「よくわかる」というのは、単純にその対象の事を全く知らないという事はしばしばである。
でも普通の人にはそうは出来ない。各国の産業の構成グラフとか、輸出入品目の図、国の成長度合いと関税品税率、航路、貿易協定の線とか、世界地図上はごちゃごちゃしてる。そこでカッコ付き「地政学」で使われてる地図図示されても「今は帝国主義じゃねーし」で終わりだ。「中国の海外進出の蓋になってる日本列島」の図を見ても「いや、中国は海洋条約に対して大陸棚方式を主張してるし」とか「11段線の元は民国の9段線とかなんとかでそれを一国主義に基づいて反射的に主張したのが最初だから…」とか余計な事を考えてしまう。
それらの知識に消しゴム掛けなきゃ「地政学」の線を引けないんだが、正直、元の記述より重要なの？この線は？って感じでリーチしないんでありますな。
そもそも現在現役の地政学講座なんかがあるのは多分英国の幾つかの大学くらいではないかな？麗澤大学とかハッピー・サイエンス・ユニバーシティにはあるかもしれないが。
そうなると議論で踏まえるべき「正統」も無いって事になるので、余計に白紙に線を引く自由度は上がる
さて一方で「地政学リスク」というのはシンクタンクや国際政治論なんかの頻出ワードだ。国家間の地理的条件が政治的緊張を産み、戦争リスクや経済リスク、世界的な不安定さに繋がるって意味で、かなりカジュアルに使われる。
こういう地政学リスクを扱う場合、ネットとか本屋の一階、特にマンガサブカルコーナー寄りの平積みとかブックオフの200円コーナーとかで情報誌仕入れようとすると、どうしても俗流「地政学」の方を引いちゃう可能性あるわけよ。
そういう時は検索式を工夫したりして、首記の金融系シンクタンクが出てくるまで頑張るっていうのが恥をかかない為のハウトゥなわけだ。
でもブクマ見ると地政学と地政学リスクを混同している人は結構いるし、それよりも目立つのはウエメセで「よくまとまっている」だ。
あのさ、これってどういう風にまとまっているかって言えば、「ネットのゆっくり地政学とかで言ってる事が書いてある」って事でしょう？そういうのと区別する為に金融系シンクタンクなどを引くものなんだよ？？
因みにシンクタンクだけだとこれもダメだ。というのもネットでおかしな言論商売してる奴っていうのはみんなシンクタンク名乗ってるのでな。
はてなのこういう常識が無いせいで間抜けな情報に踊らされてるのに偉そうな態度などは外から見るとかなり目立つし結構滑稽なんだよ。
コロナの初期に社会免疫論デマに乗っかってしまい、内容を理解してないのに「SIモデルがー」と挙って言ってたのも超害悪だったし、その後はPCRデマに乗り換えてウジウジ言い訳してたのも超害悪で溺れる者藁をも掴むの典型だった。
暇コラボ事件では盛り上がったのに暇が全然成果上げないのでいつの間にか女叩きにスライドしていって、数か月間もホッテントリの1/3が扇動的な男女論と女叩き、男性差別論という状態を出来させていた。
で、いつもそんな時にやたらイキってるのが特長で、馬鹿晒してイキってる、というのがはてなのイメージになっている。
もういい加減努力もせずに知的に背伸びしてイキるのは止めるべきだし、ソーシャルブックマークなのだから踏まえるべき基礎的なコンテンツをブックマークするようにせんといかんだろ。
