  |
はてなキーワード: アクセラレータとは
と言うことで、NVIDA一強みたいなのは今がピークで、今後は変わってくるんじゃないかな。ただ需要が全然満たせてないから、伸びるとは思うけど、多様化していくと思う。
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
なんか勘違いしているのか知らんけど、AI系のアクセラレータを最初にラインナップに加えたのはARMで、ARMはIPを売る会社だから大工じゃない。
同時期にリッチなGPUを入れ込もうとして失敗したのがNVIDIAのTegraでこっちは失敗している。
Appleは最近になって話題になったので強弁しているに過ぎずない。
実際には開発能力が失われているが、イノベーションを起こす余地をカットし、現状にだけ最適化した愚かなプロセッサを作ったために力を失っているが、シリコンを再設計しようにもキーとなるエンジニアが退職し、当初手がけた企業も今は別の陣営についているので、数年は遅れると思われる。
AppleのM2のCPUチップの隣にAI向けアクセラレータを付けて、チップ-チップで接続、AIアクセラレータの周囲にVRAM配置
という構成がいいのだろうか？
ニューラルネットのデータの流れに沿ったハードが良いんだろうが、いまいちよく分からん。
ゲームだとシーン変わるまで同じデータ使い回すのでキャッシュ効けばいいのだろうけど、
StableDiffusion系はbf18,fp16,8-bit adamなどで8GB程度でも動くようになったが、追加学習をしようとすると足りない。
日々HuggingFaceに投稿される言語系AIや音声、言語と画像・動画を組み合わせといったのになると、24GBでは足りない。
80GBで足りないのも出てきている。、
GPUは8枚まで並列に出来るので、80GBx8枚=320GBといったのになっている。
結局チューニングしないとそれほど役に立たず、お高めのパソコンで個々人でチューニング出来るとありがたいのだ。
CXL（Compute Express Link）というメモリ拡張用のバス規格が数年前にでき、製品も出始めている。
今までだとCPUからGPU側のメモリにコピーだったのが、アクセラレータから参照も出来るようになるらしいのだが、今の所サーバー向けらしい。
まぁ手段はなんでもいいんだが、VRAMの容量が増えればいい。
・アイドルやyoutuberと同じで、成功しようと失敗しようと黒歴史になるし、辞めたとしても一生監視されて下手したら刺されるリスクがある。
・大学も研究の意義を示したいためか、研究成果によるスタートアップを煽りまくっている
・実際に、上位大学は起業が盛り上がってきており、特にスタートアップが盛り上がっている。
スモールビジネスでの起業というのは、ネットショップを開いてのハンドメイド製品の販売（baseで5分で開店できる）やyoutuberやキュレーションサイトでアフィみたいなやつ。
スモールビジネスは全く否定しない。普通にやればいい。変に目立たず、粛々とやって、お金が入ってきたら法人なりしてもいい。
一方で、スタートアップはこういったスモールビジネスとは全く違う。
スタートアップは、自社株を最終的に売ってお金にする。つまり、企業価値を上げまくることが目的の起業である。
急成長させるためには、株を買ってもらってお金に変えるのだが、これを担って金を投資してるのが、ベンチャーキャピタルというやつ。
企業価値を上げるためには、メディアに露出するし、投資を受けたらメディアに晒される。
ベンチャーキャピタルに金を投資してもらうために、ベンチャーキャピタルの言いなりになる。
一生だ。
アイドルがアイドル辞めても一生粘着されたり、変な恨みを買うのと同じ。
だが、これらはスタートアップでなくて、スモールビジネスでも普通に受けられる。
なんなら、大学が煽ってるスタートアップ支援も普通に受けられる。
そう、「スタートアップ支援目的」ならスモールビジネスでいいんだ。
なんなら、ちょっと売上を伸ばしていけば、「売上があるスタートアップだ！」という顔ができる。
スタートアップでイキってる感じはスモールビジネスで十分やれる。
日本でスモールビジネスがうまく行ってから、ビジネスモデルを持ってアメリカでスタートアップすればいい。
・日本国全体のことを考えると、スタートアップは絶対欲しい。スタートアップ以外の経済成長はありえないから。
・でも、日本でスタートアップやるのは本当に個人には明確に損。失敗した時の一生監視されて苦痛を受けるリスクは誰も説明してない。
・最近、大企業でもスタートアップ支援だの、企業内ベンチャーだのがあるけど、そこも手を出さないほうがいい。名前がSNSに晒されたら終わりだぞ。
・日本でスタートアップして一生監視されるリスクおうくらいなら、アメリカのほうが経済規模も、ゴールまでの距離も圧倒的に有利だから、スモールビジネスがうまくいったら海外行ってスタートアップすればいい。
DARPAが次の半導体はチップレットだと言って、インテルもチップレットで作ったチップを出した。
チップレット間でやり取りするための規格も出来きた。
で、実際の所、良いのか？
チップレットのメリットは、複数のテクノロジーのチップを組み合わせることが出来るっていうので、
インテルの出したのもちょっと過剰じゃないかってくらい組み合わせている。
露光装置のショットよりも大きいサイズのチップを作る場合には効果がありそうだってのは想像が付く。
ただ大きくなるとデータを移動させるだけで食う電力が馬鹿にならないってのは、最近のプロセスではある話だ。
実際、どれくらい大きくできるのか？大きくしてコストに対してメリットあるのか？
CPUの隣にGPUをつけるくらいはありそうだし、実際目指しているだろう。
他のチップはあるのか？
多くの人はGPUは1枚載せだ。2枚載せてもゲーム的にあまり性能が向上しない。
4枚挿しをするのは機械学習に使うくらいだが、家庭だと2つのコンセントから供給する必要が出てくる。
拡張性があるようであまりない。サウンドカードももう載せないだろう。
かろうじてM.2を載せる板としての役割はある。
キャプチャーボードを載せる人もいるだろうが、ノートパソコンでも使いたいと考えると外付けを選ぶのではないだろうか。
8K動画を編集するとなると、Blackmagic DesignのDeckLink 8K ProやAJAのKONA5を挿す必要があるが、必要な人はほとんどいないだろう。
CPUの性能はWebをするくらいならノートパソコンで足りていて、
機械学習をするとなると性能が足りない。3DCGでも足りてない。
DVDドライブを載せることもなくなり3.5インチベイは不要になってきている。
冷却性能が向上すればいいが、CPUクーラー的伸ばせる方向がメモリーの上になる。
機械学習用のNPUのようなアクセラレータ用PCIeカードが出てくれば、また拡張性が必要になるかもしれないが、
インテル、AMD、NVIDIA、クアルコム、ARM、Appleなど、日本語でも半導体が話題になることが多いが、
韓国は国家を上げて半導体で勝負しているし、サムスンの投資金額は巨額だ。
EUもソフトバンクがARMを買収したことによって、European Processor Initiative Research Project でEUとしての半導体を持とうとしている。
富岳で富士通が関わっていたが、どちらかというとARMアーキが使われたことと1位になったこと、TSMCで製造したことが話題で終始しているし、
これからはハードではなくソフトウェアで差別化だと言っている間に、AndroidやiOSに見られるようにパクりパクられを繰り返して多少の使い勝手はあるものの差別化要因になっていない。
Androidスマホなんてカメラ性能とCPU性能とディスプレイ性能を比べてのハードウェアによる差別化しか残ってない。
iPhoneなんてApple siliconを独自SoCを作ることで差別化しようとしているし、GoogleはTPUv4で差別化しようとしている。
GoogleがBERTを学習できるのは大量のサーバーがあるからだし、OpenAIがGPT-3を学習できるのはマイクロソフトに大量のサーバーを構築してもらったからだ。
ソフトウェアは不要ということはないが、ハードウェアの性能以上のことができないし、より抽象度を上げて処理が重くなる方向に向かってるので、ハードが進化するしかない。
それ以前にソフトウェアとサービスで国内市場しか取れず、Appleには手数料を30%から40%に上げようかと言われる始末だ。
今からなら量子コンピュータだろうという意見もあるだろうが、下記の慶応の量子コンピュータアーキテクチャの図1を見ればわかるように今のコンピュータがなくなるわけじゃない。
どちらかというとGPUのようなアクセラレータとしての域をまだ出ていない。
https://www.futurelearn.com/courses/intro-to-quantum-computing/0/steps/31566
RISC-Vが、という意見もあるだろうが、性能が突出してるわけでもなく、開発環境が整っているわけでもなく、無料という以外のメリットがない。
最後に謎の半導体会社を紹介しておく。プロセッサー業界情報が知りたければThe Linley Groupのサイトのニュースをお勧めする。
