  |
はてなキーワード: GPGPUとは
当初はGPUとして開発され、事実上開発の失敗からオマケ程度までスケールダウンされたPS3のSPEは今のNVIDIA製GPUの原始的な形そのものだし、
当時すでにGPUは存在したし、GPUを他の目的に使用する行為(GPGPU)も行われていた。機械学習に使われ始めたのは2010年くらいからだと思うけど。
ちなみに、SPEはGPUをスケールダウンしたものではなく、計算に特化したCPUを複数載せようという設計思想なので、今の膨大なコアで行列演算をぶん回す戦場では勝てない。メニーコアCPUはそれはそれで発展する余地はあったと思うけどね。
「ベクトル型とスカラー型のハイブリッド」とはGPUを複数機搭載したサーバーそのもの。つまりきわめて大ざっぱに言えば基本設計は十年以上先のトレンドを正しく捉えている。が、どちらも実際の開発や予算の都合に失敗しているし、NECのベクトル型スパコンなど需要はゼロだった。
日本がハードウェア部門で存在感を示すには、GPUの開発に研究費をぶっ込む必要があったわけだが、GPUのような不真面目な分野には研究費が出なかっただろうな(偏見)
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
だからこそ最初から「ほんとにここ数年の進化。最新の技術だよ」と書いている。
Wineがゲーミングに実用なレベルだったら、そもそもこの書き込みすらしていない。
意味が分かるか？ Wineじゃなくて、Protonの話をしている。
Wineの話をしているのはお前ひとりだけだ。
確かに、厳密にいえば「GPU直接アクセス」というのはGPGPUのような用途になり排他処理ができない。
だから「ディスプレイ出力すらできないよねって話になるよね。」とお前のツッコミを補完したうえで、
「99.999%の人にはなんのこっちゃだろうから「直接」って表現をしたまでよ。」
と丁寧に補足したはずだが。
こちらが譲歩して、「直接」って表現は厳密じゃなかったでしゅね～って歩調を合わせているのに、
まだ小学生のようにネチネチとやっているのは恥ずかしいぞ。
しかもわざわざブクマして、安全な場所からコメントしているのが卑怯者くさい。
GPGPUアプリケーション開発の環境およびAPIとしては、ハードウェア内部構造自体が汎用性を増したDirectX 10世代の統合型シェーダーアーキテクチャGPUの登場以降、NVIDIAによるGPGPU専用の統合開発環境「CUDA」や、AMDによるGPGPU基盤「AMD Stream」（旧称ATI Stream）、そしてクロノス・グループによる標準規格「OpenCL」が現われ、GPGPU活用の幅が広がりつつある。 https://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%83%8E%E3%82%B9%E3%83%BB%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97
おかあさん
つかれちゃったよ。
変な話だけど、誤字脱字を訂正したいみたいな掲示板も合って、
誤字脱字も多いけど、わざと後時にしていることも合って
つかれちゃう。表現を運営がガイドラインを超えて決めたいというのは疲れちゃう。
自由なのがいいなぁと思うけど
１万個がいいかというと
謎
でも本当にスレッド管理IDが１６Bit化により１万スレッド同時実行という（GPUでは今６０００ CPUでは１２８ぐらい）
１万コアってそろそろ本当に言うよねというところから来た冗談だから、難しい。（でなければ、いきなり言うわけがない元ネタはCUDAとIntelの１１世代であることは明らか）
あまりにもGPGPUで乗ってきてくれる人がすくなくて泣きたかったよはてな。
なんで１
万コアってっくかというと
１万コアっ大人がわざわざ書くかというと、そりゃ１０Kだろうというひとが、あまりにもおおくて、１
万コアっていう冗談が伝わらないくらい、いまHOTな話題だから こうでもかかないと
わかってもらえない
というわけで、表現社のみんなへ
１６０Kコアとか１６０Kスレッド同時実行とか １６万コアではなく １６０Kコアとか。
１
万個
を超えるスレッドの技術 とかもそうだが 最低限の努力の必要性
で正直、１万個超えのスレッド技術というのはCUDAの登場で 本当に２０００スレッド同時実行 ３SLIで６０００スレッドが同時に走るというのがあり
Intel レベルで１００個 GPGPUで６０００個スレッドが本当にハードで同時に走るという時代になった。
何を言っているか？というと マジで１万個のスレッドが本当にハードで同時実行できる時代になった。
ただ、当然Intelで１００個なのに１万個超えが ノーリスクなわけがなく どんなリスクが有る代わりに 速度が１万倍になるのか？というのをプログラマーは熟知しないと危ないに決まってる１万倍
ほかにも、リスクが判明してきているが、危険な技術を掲示板にかけるわけもないから、先輩など、自分の師匠筋に確認してほしい。順番に教えていっているはずで、『直接みてないとあぶない』から、１階に少数を順番に教えているはず。
あるいみ、信頼申し上げて緊急手段をあずける度胸
