  |
はてなキーワード: データセンターとは
X (twitter) で SITUATIONAL AWARENESS: The Decade Ahead https://situational-awareness.ai/ というのが回ってきて非常に示唆に富むものだったので、DeepL (無料版 API経由) で訳してみた。
この1年で、街の話題は100億ドルのコンピュート・クラスターから1000億ドルのクラスター、そして1兆ドルのクラスターへと移り変わってきた。半年ごとに、役員室の計画にまたゼロが追加される。その裏では、残りの10年間に利用可能なすべての電力契約と、調達可能なすべての電圧変圧器を確保しようとする熾烈な争いが繰り広げられている。アメリカの大企業は、アメリカの産業力を結集させるために、何兆ドルもの資金を注ぎ込む準備を整えている。ペンシルベニア州のシェールフィールドからネバダ州の太陽光発電所まで、何億ものGPUが稼働する。
AGI競争が始まったのだ。私たちは思考し、推論できるマシンを作りつつある。2025年から26年にかけて、これらのマシンは多くの大学卒業生を凌駕するだろう。10年後までには、これらのマシンは私やあなたよりも賢くなり、本当の意味での超知性を手に入れるだろう。その過程で、この半世紀には見られなかったような国家安全保障の力が解き放たれ、やがて「プロジェクト」が始動する。運が良ければ、中国共産党との全面的な競争になり、運が悪ければ全面戦争になる。
今、誰もがAIについて話しているが、何が自分たちを襲おうとしているのか、かすかな光明を感じている人はほとんどいない。Nvidiaのアナリストは、まだ2024年がピークに近いと考えている。主流派の評論家たちは、「次の言葉を予測するだけだ」という故意の盲目に陥っている。彼らが見ているのは誇大広告といつも通りのビジネスだけで、せいぜいインターネット規模の新たな技術革新が起こるのを楽しむ程度なのだ。
やがて世界は目を覚ますだろう。しかし、今現在、状況認識を持っているのはおそらく数百人で、そのほとんどはサンフランシスコとAI研究所にいる。運命の不思議な力によって、私はその中に身を置くことになった。数年前、このような人々はクレイジーだと揶揄されたが、彼らはトレンドラインを信頼し、過去数年間のAIの進歩を正しく予測することができた。この人たちが今後数年についても正しいかどうかはまだわからない。しかし、彼らは非常に賢い人々であり、私がこれまでに会った中で最も賢い人々である。おそらく、彼らは歴史の中で奇妙な脚注となるか、あるいはシラードやオッペンハイマー、テラーのように歴史に名を残すだろう。もし彼らが未来を正しく見ているとしたら、私たちはとんでもないことになる。
各エッセイはそれぞれ独立したものですが、シリーズ全体として読むことを強くお勧めします。全エッセイのPDF版はこちら。
2027年までにAGIが実現する可能性は極めて高い。GPT-2からGPT-4までの4年間で、私たちは～未就学児から～賢い高校生までの能力を手に入れた。計算能力（～0.5桁またはOOMs/年）、アルゴリズム効率（～0.5OOMs/年）、および「趣味のない」向上（チャットボットからエージェントへ）のトレンドラインをトレースすると、2027年までに再び未就学児から高校生サイズの質的なジャンプが起こると予想される。
AIの進歩は人間レベルでは止まらない。何億ものAGIがAI研究を自動化し、10年に及ぶアルゴリズムの進歩（5以上のOOM）を1年以下に圧縮することができる。私たちは、人間レベルから超人的なAIシステムへと急速に進化することになる。超知能の威力と危険性は劇的なものとなるだろう。
驚異的な技術資本の加速が始まっている。AIの収益が急増するにつれ、10年末までに何兆ドルもの資金がGPU、データセンター、電力の増強に投入されるだろう。米国の電力生産を数十％増加させるなど、産業界の動員は激しくなるだろう。
米国の主要なAI研究所は、セキュリティを後回しに扱っている。現在、彼らは基本的にAGIの重要な機密を銀の皿に載せて中国共産党に渡している。AGIの秘密とウェイトを国家機関の脅威から守るには膨大な努力が必要であり、我々はその軌道に乗っていない。
我々よりもはるかに賢いAIシステムを確実に制御することは、未解決の技術的問題である。解決可能な問題ではあるが、急速な知能の爆発が起きれば、物事は簡単にレールから外れてしまう。これを管理することは非常に緊張を強いられるだろう。
スーパーインテリジェンスは、経済的にも軍事的にも決定的な優位性をもたらすだろう。中国はまだゲームから抜け出してはいない。AGIをめぐる競争では、自由世界の存亡がかかっている。我々は権威主義的な大国に対する優位性を維持できるのか？そして、その過程で自滅を避けることができるのだろうか？
AGIへの競争が激化するにつれ、国家安全保障が関与してくる。アメリカ政府は眠りから覚め、27～28年までに何らかの形で政府によるAGIプロジェクトが立ち上がるだろう。どんな新興企業も超知能を扱うことはできない。SCIFのどこかで、終盤戦が始まるだろう。
もし我々が正しかったら？
――――――――
私はかつてOpenAIで働いていたが、これはすべて一般に公開されている情報、私自身のアイデア、一般的な現場知識、あるいはSFゴシップに基づいている。
Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel、その他多くの方々の有益な議論に感謝する。初期の草稿にフィードバックをくれた多くの友人に感謝する。グラフィックを手伝ってくれたジョー・ローナン、出版を手伝ってくれたニック・ウィテカーに感謝する。
続き I.GPT-4からAGIへ：OOMを数える(1) https://anond.hatelabo.jp/20240605203849
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
ビッグテック企業の皆さん、そろそろ大規模なデータセンターとAIモデルの共同運用を検討してはどうでしょうか。
各企業が個別に巨大なリソースを運用するのではなく、共同で運用することで効率を大幅に向上させることができます。
競争によるイノベーションも重要ですが、特定の分野では協力が全体の利益を最大化する手段となります。
AI技術の進化においては、車輪の再発明を避け、既存の知識やリソースを共有することが、技術の進歩を加速させる効果的な方法です。
協力体制を築くことで、無駄な重複作業を避け、より効率的かつ有益な成果を生み出すことができます。
地方に移住しても、ワイくんのスキルでは、フルリモートでも、なんかあった時に顔出しすることがだいたい条件になっていて、
たまになんかあった時の対応に飛行機移動が必要な案件(当然向こう持ちで交通費は出る)もあるが、
まぁ基本的に電車or車で1時間以内に顔出しが出来る案件をうけている(行き先はデータセンターや社内のサーバールーム)
なので、目の前が山！田畑！みたいなところには今の所は住めていない(海はチャリで行けた)
父ちゃんは何故か東京が良かったらしく、高校は島からでなかった癖に、大学進学を理由にわざわざ東京に出てきた
母ちゃんも同様に何故か東京が良かったらしく、農家の実家のお手伝いやめてわざわざ東京に出てきたし、伯母たちも含めて『農家だけはアカン』と言っている
また父ちゃん母ちゃんの親族の中には、変わり映えしない日常と口さがない周囲の人間に参ってしまい、精神を病んで田舎落ち(地方都市へ移住)した人もいる
従兄弟から聞く山道を青年会で整備しているという話や、老人に部類される年齢の人(兄弟姉妹の曽孫もいる)が婦人会で若手でサポート役という話を聞いたりすると、
大学4年生です。ちょうど就活を終えたので、周りの学生や親に対して思ってることを書きます。
俺は 公立小中→県立高→早慶→有名企業 ってルートだけど、学校の勉強のお陰で、人生がめっちゃスムーズに進んだんだよね。
地元の公立中は意識低い人ばっかで、少し頑張ればほぼオール5が取れた。県立高校入試は内申点が4割だったから、簡単に偏差値70のトップ校に入学できた。
高校入ったら、これまで必死に勉強して燃え尽き症候群状態の人ばっかで、内申点の余裕で気力を温存してた自分は一発目から上位に食い込めた。
3年間優等生で通して、指定校推薦で早慶に進むことができた。（私立と違って、公立は純粋に成績良い人に指定校渡すよ）
大学でもGPAはしっかり取って、お陰で交換留学選考を余裕で突破できた。半年留学しても100万以下で収まって、格安すぎた。そして成績優秀者だから給付奨学金40万の案内も来た。
就活でも、成績証明書の提示を求める企業は意外と多くて、「履修データセンター」なる専用サービスもある。
GPAが高い自分は好印象で、内定の決め手の1つだったと思う。
交換留学＋GPA＋バイトエピソードで、大手から3つ内定もらった。
ということで、世の中「学校の勉強」を軽視する人ってめっちゃ多いけど、少し頑張ると、こんな感じで人生前半がめっちゃスムーズに進みます。
県立高からの国立大or私立給付奨学金ルートだと、かかるお金も少ないです。
警察や防衛省に入った一般職国家公務員が「え？新人研修のために警察学校（軍学校）で３ヶ月警官（自衛官）と一緒に共同生活を！？ムリムリムリ！！事務所で座学のオンライン研修とかじゃ駄目なんですか！？？？」とか言ってたらどう思うよ？
流石にそれは自分の適性を考えずに職場選んだお前が悪いだけじゃねーかってならないか？？
俺だったらなるね。
いやマジでさ、製造業に関わるのに機械油・食品油にまみれる覚悟がないような人ってちょっと異常だと思うんだよね。
たとえばこれがIT系の事務職募集だったらやったとしてもデータセンター研修のために北海道で一週間ぐらいが良いところだと思うわけよ。
氷河期の爪痕とでも言うのかな、「とにかくどこでもいいから給料が悪くない会社に入っちまえば良いんだよ！」みたいなノリで就活してる学生さんが多すぎるんじゃないか？
今はもう転職しまくる時代と言ってもさ、最初からジョブホップ前提で動いても人生がグチャグチャになるだけだって。
転職上手く行ってる人はどの職場も条件さえあえば３０年ぐらい働くつもりで入って、その上で自分と会社の折り合いを考えた結果他の会社に移ってるからさ。
考えをまとめるために書いているので長くなってしまった。
投資マネーが再エネに集まり、既存電源に行かない状況が続いている模様。
再生可能エネルギーは、施設の製造・建設・設置、さらに運営のノウハウが溜まってきて再エネが安定した投資先と見做されてきており、潤沢な資金供給が続いている。
例えば、利回りなども、再エネ設備の耐用年数を従来は20年などで計算していた。これは公的補助が20年だったと言う前提だが、次々と公的補助が終了した結果、耐用年数を30年以上で計算するところが増えていて、それらをミックスした投資商品が登場、安定した資金調達に繋がっているようだ。
一方で、相対的に既存電源に対する投資が減っている。欧州でもエネルギー安全保障の観点から、イギリス、フランスなどで原発の新規計画が出てる。
今時、国の金だけでやると言う計画をイギリスが建てるはずも無く、資金を募集しているのだが、全然投資が集まらなくてかなり苦戦している。
これとは別の話として、エネルギー安全保障の観点だと言っているのに、当初目論みの建設費で手を上げたのが中国企業（中国"系"ですらない、中国の国営企業）しかないと言う状況で、これだとまずいと言う事で、新規設置の原発が生み出す電力の買取保証価格をつり上げたところ、なんと再生可能エネルギーの2倍から3倍の価格になってしまって問題化している。
エネルギーの安定供給・安全保障の観点という点では色々な電源をミックスするのは当然で、そういう点では単価の高い電力が混ざっても仕方が無い。
が、その国のエネルギー価格は、その国の国際競争力に直結する。製造業はもちろんのこと、ITのデータセンターの立地、研究施設の立地など情報系にも影響してくる。
国策である程度電力価格をコントロールできるからと言って、上げれば今度は国際投資が逃げていくということで、苦しい状況が続いている。
欧州と言うより主にフランスでの問題なのだが、フランスは原子力発電所で発電した電力を他の国に売ると言うビジネスを行っていた。
ところが、再生可能エネルギーが市場を荒らすようになってしまったため、もくろみが崩れてしまって採算性が悪化している。
既存電源と再生可能エネルギーの違いは何かと言うと、限界費用が全く違う。再生可能エネルギーは、燃料費がないと言うところが大きくて、0円以上で売却できれば利益になる。というか、勝手に発電されるので止める意味が無い。
そのため、他の電源では燃料費が上回って赤字になるケースでも電力を市場に流す事ができる。そんなものと価格競争しても意味が無いので、例えば火力発電所は再エネの供給が大きくなったら発電を止めて、採算より高くなったら稼働すると言う事を行っている。
特にLNGのガスタービンは即応性が高いため、再生可能エネルギーに追従して運転をするのに適している様だ。
一方、そんな器用なことができない電源がある。
それが原発。
原発は燃料を燃やしているにもかかわらず、再生可能エネルギーと似たような性質を持っている。発電を始めたら勝手に発電されるので止められない、出力調整が難しい、燃料費に比べて設備費・初期投資の割合が大きいといったことだ。
そのため思いっきり市場を食い合っている。再エネがピークで安い時は下手するとマイナスの金額（つまり、売買に関わる諸経費を発電側が持つというようなもの）で売却される電力に対して経済面で追従を迫られる。
それでも、再エネが担う割合が低いころは、それ以外の時間帯で収益を出すことが可能だった。しかし、段々と再エネだけで賄える時間帯が増えてしまい採算性が悪化しているのである。
また、原子力発電所など大規模電源は30年以上の耐用年数を見込んで採算が取れるように投資商品にするのが一般的で、原発の場合は40年以上も当たり前だ。その間当然リスクを見込んでるんだけど、変化が急激すぎてそのリスク範囲を超えてしまっていている模様。
これは時限爆弾みたいなもので、実はちょっとヤバいと思われる。
電源関係の投資ってかなり安定的な投資と見做されてる影響で、年金など公共性の高い投資商品に基礎的なものとして組み込まれていることが多く、吹っ飛んだら電力関係だけじゃ済まないと思われる。
そしてここが不安定なので、従来型の大規模電源開発に投資が集まらない状況が続いている。
環境 テロリスト 団体はESG投資の結果だとか宣伝するし、それに呼応するように原発 村の盲信者 関係者が陰謀論じみたことを言ってるけど、実際には経済的なリスクが大きい一方で、利益が少ないことが要因だと思われる。
もはや後戻りができないぐらい進んでしまっている。この流れは止まらないだろう。
ただ、各種のデータを見ると本当にこれで電力の安定性大丈夫なの？と心配になるんだが、進んでいる源が経済という祟り神なので止めらんない。すると安定化する方法はそれに対応する電源開発なり大規模蓄電なり水素・アンモニア製造するなりしかないと思われる。
実は、原子力発電所も、負荷変動に柔軟に対応するようなものは設計可能らしく、そういったものが出てくる可能性はある。が、投資基準は再生可能エネルギーに対してになるので、それより優位なものが作れるかはわからない。
日本は電力の自由市場の中にはいないので、急激な変革に巻き込まれてはいない。
また電力価格の決定が統括原価方式なので、例えば発電所を30年使うと設定して投資した場合、原則的に建設費などの初動費は30年間固定されて電力価格に転嫁することが認められている。
ある意味、再生可能エネルギーの固定価格買取制度によく似ているが、そちらとの違いは、稼働していない発電所の維持費も電力価格に転嫁できる仕組みであるということ。
例えば原子力発電所で再稼働出来てない発電所は多くあるが、発電して無くてもそれらの費用は電力価格に乗ってきているし、原発が稼働してない分だけ維持している旧式の火力の維持費なども当然ここに乗っかってくる。
これによって電力価格の上昇を抑え、安定化すると言う効果があるのだが、ここ15年ぐらいの急激な環境変化に対応できなくなってきているのも否めない。
ただ、制度を続けていけば、急激な市場の変化は発生しないと思われる
と、国内だけを見てればいいのだが。
既に書いたが、その国のエネルギーコストは、その国の競争力に直結する。国際競争に晒されている今、エネルギーコストが高いと企業立地などを逃すことになるので投資が集まらなくなる。
直近の動きでは原発を再稼働させようという取り組みが継続して行われている。
原発は燃料費よりも建設費・維持費がかかる。それらは再稼働しなくても電力料金に乗っかってる一方で、それに加えて燃料費の割合の大きい旧式火力を回さなければならない。これが電力料金を上げる要因になっているのは確かだ。
だから短期的には原発を再稼働させるということはあっているのだけれど、長期的に見ると、ライバルになり得る欧州が再生可能エネルギーという安いエネルギー源を苦しみながらも獲得しつつあると言う事には追従出来ていない。
さらに、欧州は環境対応を大義名分に、自分たちの有利な点を伸ばすような、再エネを使った製品では無いと追加の関税を課して保護政策を実行してくるのも間違い無い。自由貿易どこいったって思うが仕方が無い。
環境問題への対応はもちろんしていく必要があるが、今一度、エネルギーコストをどうやって下げていくのかと言う基本に立ち戻って電源の選択を考える時に来ていると思う。
その点では、洋上風力発電を巡る汚職が痛かった。かなり安い入札が行われていたのに、なんだかんだと理由を付けて不可とした。
その結果、国内の商社と組んでいた海外の電源開発会社が投資を引き上げちゃったんだよな。
せめてそういうことは二度と無いようにしたい。
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
横だけどこれかー
https://www.bloomberg.co.jp/news/articles/2022-10-07/RJDCTCDWRGG201
まあ少なくともこういうのは円安だから作りました、みたいな単純な理由ではないよな。
調べるのめんどかったからChatGPTにグーグルはなんで千葉にデータセンター作ったの？って聞いてみたよ。
まあそんなとこやろな。っていう答えが返ってきたー
（以下ChatGPT）
Googleが千葉にデータセンターを開設することには、いくつかのメリットがあります。以下にその主な点を挙げます：
市場への近さ: 日本は世界の主要なテクノロジーマーケットの一つです。データセンターを日本に置くことで、Googleは日本市場へのサービス提供を改善し、レスポンスタイムを短縮できます。これにより、ユーザー体験が向上し、日本国内での競争力が強化されます。
信頼性とパフォーマンスの向上: 地理的に分散したデータセンターを持つことは、災害時のリスク分散にもなります。特に日本のような地震が多い地域では、データセンターの冗長性を高めることが重要です。また、複数のデータセンターを運用することで、システム全体の負荷分散が可能になり、全体のパフォーマンスと安定性が向上します。
規制への対応: データ保護法や国内でのデータ保存要件など、各国の規制への対応が必要な場合、国内にデータセンターを持つことが有利になります。日本国内にデータセンターを設置することで、Googleは日本の規制や法律に適合しやすくなります。
エコシステムの強化: ローカルのビジネスや開発者との連携を深めることができます。データセンターの存在は、Googleのクラウドサービスを使用する企業や開発者にとって、技術サポートや連携の面でメリットを提供します。
エネルギー効率と持続可能性: Googleは再生可能エネルギーへの投資を進めており、日本のように再生可能エネルギー源の利用が進んでいる地域でデータセンターを開設することは、その持続可能性の目標達成に貢献します。
これらのメリットは、Googleが日本国内、特に千葉にデータセンターを開設することの背景にある主要な動機となっています。日本市場へのサービス提供を最適化し、グローバルでのビジネス展開を強化するための戦略的なステップと言えるでしょう。
