  |
はてなキーワード: クラスタとは
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
ツイッターの医療クラスタが「抗生剤入ってこなくなったので皆さん健康にお過ごしください」
牛丼屋が、牛丼品切れなのでなるべくうちには来ないでねというレベルの主力薬品らしいわよ
https://x.com/MSNavi4/status/1796247383879413783
以前からジェネリック系の製薬会社の製造工程の問題で他の薬などの入手性も悪くなっていたところに
今回、長生堂製薬川内工場というメーカー各社が材料製造を委託しているところで問題が発生して
会社横断的に出荷停止してるみたい
https://medical.nikkeibp.co.jp/leaf/mem/pub/di/trend/202405/584413.html
2024/05/24川内工場における不適切な方法による製造行為及び業務改善施策の強化について pdf（188KB）
https://www.choseido.com/company/labo/
正確に言うとプライベートモードにしたただけで、使うのはやめていない。
誰にも読まれることのないコメントを、いかにも☆が付くことを狙って書いてしまう自分に驚いているが、さすがに一時的な状態だと思う。
距離を置いてみるとブクマカたちの異常性が良く分かる。Twitterのようにクラスタ分けがされるわけでもない、表舞台しか存在しないプラットフォームが、よくぞこんな長い期間維持されてきたものだ。
普通にブレイクしたWebサービスなら、ユーザ数の桁が増えてクラスタリングなしでは使いものにならなくなっていただろう。といって閑古鳥というわけでもない、中途半端な状態を延々長引かせている。変なサービスだ。いくら計算機コストが低くともサポートコストで赤が出そうなものだが。
このまま卒業できると良いんだが……
普段本とか読んでしっかり社会問題について学んだ上でバカみてえなフィクションを楽しみたいのが俺なんだが、世の中は映画クラスタ含めてバカしかいないから横着して「そうだ！好きな映画見てついでに社会問題学んだ気になったら楽じゃん」ってなるんだな。
数年前まではツイッターの映画好き界隈（今はあまり言わないがクラスタと言われてたやつ）にかなり出入りして毎日映画の感想や議論をしてたのだが、俺の私生活の変化で映画を見る時間が出来なくなってガクっと映画を見る時間が減り、そのまま界隈に積極的に参加することもなくなり、暇な時間に界隈のTLを眺めるだけになっていった。
その結果どうなったかというと、「俺はなんてムダな時間を使っていたんだ」と思うようになった。映画クラスタなんてもう10年くらいやれポリコレだのやれ監督の倫理観だの労働問題だの邦画はカスだの代り映えのない話題をずっと繰り返している。それかバカしかいない。
その間俺は仕事しもっと有意義な時間を過ごし、そのうえで彼らがわざわざ映画越しに学んでいるらしい社会問題や価値観アップデートをちゃんとした本を読んで学んでいる。まるで「麻雀は頭の体操になるんだよ」とのたまうジジイみたいにまるで映画を見るだけで自分が頭よくなってると思ってるバカ共をしり目に、俺は充実した生活を送っている。
映画なんて見なくても人生は充実するし教養は身につくし価値観もアップデートできる。むしろお前たちのほうが退化している。映画なんて気が向いた時だけ見ろ！一回2000円かかる意味を考えろ！！！！
「平等にあつかえ」と
「公平(フェア)にあつかえ」と
「俺を虐げるな」
何もかも間違ってる
このような固定化された社会的・構造的な有形無形の事象を彼らは差別と呼ぶ
オタクが社会から固定化した構造的な排除・迫害を受けているか？否という訳
だから、彼らにしてみれば、「差別と認められるほど酷い目にあって出直せ」となる
「加害者は黙れ」と
侮蔑や偏見も差別と呼ぶし、固定化を助長する表現物も差別を構成する
だが、差別を構成する要素に偏見があるが、その逆、偏見があるから差別とはならない
だから、彼らにしてみれば「ジャップオスを偏見で罵倒する」のは何の問題も発生しない
それは偏見で描かれるジャップオスが被差別クラスタではないから
自明な事だ
話は変わるが
元来、無敵の弱者として他者を罵倒してきた女性様とその騎士団は
自分よりも弱者属性の強いＬＧＢＴと対峙する事で、これまでの戦略が使えなくなっている
これ。
診療を装って女性患者にわいせつ行為 数年間に53回に及んだ疑い スマホには映像が150本 静岡・掛川市（静岡朝日テレビ） - Yahoo!ニュース
https://news.yahoo.co.jp/articles/37b7f16960743c9552b7b3d45ac175d8bf220ab6
小児科医の男が未成年患者の胸を揉んだりスマホで盗撮したりして強制わいせつと準強制わいせつで逮捕・起訴された案件。最初の被害報道が出ると、スマホに残されてた映像などから被害者が増えていき、計5回の逮捕、7回の起訴がされている。抵抗が難しい状態にあった患者へのわいせつ行為や、13歳以下の患者に全裸になるよう要求してのわいせつ行為が報道されている。男は否認するでもなく完全黙秘を貫いてる。裁判はまだ開かれていない。
去年から報道されてたんだけどネットじゃ全然話題になってないのが不思議。「男小児科医の患者へのわいせつ行為」って旧Twitterじゃ医者クラスタの擁護や男女論争でバトル好きの大好物になりそうなものだけど、ちょうど逮捕時期がXの混乱と重なったからスルーされてたのかな。
＞自分の好きなBL漫画の作者がXで「最近好きな人ができた」とか「彼氏ができた」とかリアルの恋愛の話をつぶやいていたらよってたかってぶっ叩くでしょ？
今って結婚して子どもいてその子どもも小学生で～みたいな人いっぱいいない？
コスプレイヤーであることを活かして子どもにお遊戯会で着るお姫様の服を作ってあげるとか子どもが幼稚園の先生に「ママってたんじろーのえがとってもじょうずなんだよ！」って同人活動やってることをバラしてしまうとか小学校の卒業文集作りに携わった時に最寄りの印刷所に詳しすぎて他の保護者に怪訝な顔をされたとか子持ち同人者あるあるみたいなのも定期的にバズるし
リア垢を持たずにリアルの話を同人アカウントで垂れ流す人の方が多いと思う
三次の男が嫌いってカミングアウトする方が勇気いる、私はジャンルによってアカウント分けてるけど一番人口多い大手ジャンルの大手カプでもそんなこと言ってる人見たことない
どうやったら増田みたいなタイムライン構成できるんだ？どこ行っても喪女なの私だけだよ！！
好きなジャンルを起点につながるんじゃなくて男嫌いっぽいことをつぶやいてる人をジャンル問わずフォローしてるとか……？
とここまで書いたところで何となくツイッターで検索したらやらおんにまとめられてたしアフィリエイト用の投稿だったのかな
個人的にAIイラストは、ブログのアイキャッチやパワポの挿絵みたいな「フリー素材」として使う分にはありだと思うんだけど、SNSを見てると「AIアーティスト」を自称したり、#AIイラストみたいなハッシュタグを使ってイラストそのものを公開・拡散することを狙う人が結構いて、なかなかに辟易としている。
というか、ただでさえ賛否両論というか、絵描きクラスタからは反発の多いAIイラストなのに、それを作品としてまるで自分が描いたように謳う連中はどういう神経をしてるのだろう。
というかというか、自称AIアーティストとか#AIイラストとかのユーザーを見てみると、かなりの割合で関わり合いになりたくないような奴なんだが、なんかそういう人に魅力的な何かがあるのかね。
表現の自由を前提とすれば、本当にそう思う。
とくに舞台が現代についての描写である場合は、違和感しかない。いまどきタバコを吸う人は喫煙所でしか見ねえだろう、と。人をかっこよくみせるためのアイコンだとしても、昭和から同じアイコンを使い続けていることに対しては、漫画家たちはもうちょっと頑張ってアップデートしてほしい。
ただ逆に、テレビドラマなどで1990年代以前の世界が舞台だった場合に、その時代に日常風景の一部だったタバコが全く出てこないということもよくあって、こっちのほうもやはり違和感があるというか、歴史の捏造だと感じてしまう。
あとかっこよく見せてるか？
不良だったりアウトローだったりのクラスタのアイコンとしての小道具だろ？
もしそれをかっこよく思うのであればタバコ自体が問題ではなく不良なりアウトローなりの特性をかっこよく思っているんだろ
あと個人的に感じてることとしては基本的におじさんが多いよね若者少なくなってるこれもちゃんと現実の傾向に即してる
暇空茜が５ちゃんねるのスレ立て人「富士山」の開示に成功し、富士山を「カルピス1号」と呼称した
命名者は暇空で、主にカルピスや乳酸菌飲料などの名前を持つ暇空を批判する集まりだ
富士山がその一員であるという証拠は今のところ全くないが、何故か暇空は富士山はカルピス軍団の一人であると認知プロファイリング
暇空は、正体の判明したカルピス軍団の一人目だとして富士山を1号と名付け、一般人である富士山の氏名住所をTwitter上で公開した
弁護士の高橋雄一郎は盲目的な暇空信仰者であり、暇空の言うことを鵜呑みにしてその実名が公表された相手のことをカルピスカルピス言って加害行為を煽っている
暇アノンは現在富士山の名前を検索汚染しようと「あいつは強姦犯」「ロリコン」などと実名とセットで大量連投中
暇空による開示情報晒しと攻撃は今更なことだが、「カルピス1号」って垣鍔晶弁護士じゃないの？
カルピス軍団のはじまりは、暇空茜の弁護士である垣鍔晶がTwitter上で「カルピス」と名乗って仁藤夢乃や金尻カズナなどのフェミニスト女性の顔面品評会をしていたことから
垣鍔を批判するアカウントが「カルピス垣鍔」というような名前にしたところ、暇空は「垣鍔」部分には触れられず「カルピスがーカルピスがー」とばかり言うので面白がられ乳酸菌が増殖していった
垣鍔晶は0号ということなのか？
ボリュームゾーン５０代のジャニヲタおばさんとリアルで若い女と接点のない低身長ホビット男性だけが日本の女は皆ジャニーズに夢中と主張してるんだよな
ジャニーズ擁護するあまり暇空茜を応援してる陰謀論ジャニヲタクラスタ（勿論老人と中年しかいない）もフェミもアンフェもウヨもサヨもジャニヲタ以外の日本人すべてがジャニーズ性加害をぶったたいてた事実を受け入れず「北朝鮮と韓国が国内のフェミ左翼勢力と手を組んで日本人に愛されてきたジャニーズ潰しを目論んだ」ってことになってるからね
もちろんそうじゃない○○オタクはいくらでもいるが(たとえばある漫画には「信長の強火オタ」である輝宗が出てくる)、
単に「オタク」と名乗る人達は、あるいは、「オタク」と聞いて連想するのは、漫画とアニメとゲームの同時の愛好家であるというのが一定数ある。
乃木坂春香の秘密とか、我が愛しのオタ彼女とかのヒロインはそういうキャラであって、彼女らは作中で「オタク」と設定されていた。
あるいは昔NHKで「MAGネット」なる番組をやっていたことも、オタクという概念をそういうものとみなすのが一定数あるという裏付けになっているだろう。
私が思うのは、漫画アニメはともかくゲームはこれら二つに対して接点が少ない仲間外れではないのかということだ。この三者で一つ仲間外れをあげよという問題が出たらゲームと答える。
「オタク」という言葉とそれに伴う概念、すなわち「オタクとはなんであるかということのよりどころになる『オタク像』」を広めたのは宮崎勤だったと訊く。
しかし彼がはまっていたのはアニメと特撮であって、ゲームは入っていなかったと思う。
また電車男もオタクのイメージ伝搬に一役買っているはずだが、彼もゲームはやってないような気がする（MMOとかやってたっけ？）
まあとにかく、アニメと漫画というクラスタとしてその距離を考えるなら、ゲームよりはラノベとかフィギュア収集の方が近かろう。
ゲームっていうのは恋愛ADVという前提なんだろうな？eスポーツ勢は旧来のオタク像がしてそうなゲームとは明らかにマッチしてないし。
選挙の話題がバズってて、政治クラスタじゃないワイもちょっと考えてるんだけどさ
もちろん、ニュースになってるような汚職とかないほうがいいに決まってるんだけど、じゃあ他の政党なら汚職無くなるって信用は全然ないんよ
むしろ、急に権力を持つことでもっと汚職走る可能性すら考えちゃう
全然政権担当の可能性がない野党の政治家でも普通にカネの問題が出てくるんだから、権力持った途端に普通に汚職に走ると思ってる
これは政治家云々じゃなくて人の性なんだよね
だって俺も急に権力者になったら汚職に走るだろうし、お前らも同じだと思ってるから
