2023-06-21

anond:20230621145330

ゲームで使うのはキャッシュじゃなくてVRAMでしょ。AIも巨大なパラメータと途中計算結果をVRAMに置く。並列度の高い演算部とVRAM間の帯域が重要なので特殊DRAMが使われる。入力データ転送は微々たるものだしモデルも頻繁に切り替えたりしないから、GPUホスト間の通信帯域はある程度重要だけど、ホスト側のメモリ帯域はどうでも良い。現代の高性能なニューラルネットワークは何チップに分けようが、そのまま回路化するのは無理。基本的演算装置を使い回す。

記事への反応 -
  • GPUはキャッシュ前提で作られている。例えばゲームだとキャラクターCGは使いまわし、シーン切り替えするまでキャッシュが効く。メモリ局所性あり AIは、画像だと空間、文章だと文脈...

    • ゲームで使うのはキャッシュじゃなくてVRAMでしょ。AIも巨大なパラメータと途中計算結果をVRAMに置く。並列度の高い演算部とVRAM間の帯域が重要なので特殊なDRAMが使われる。入力データ...

      • GPUにもキャッシュはあるやで

        • dGPUにあるのは知ってるけど増田はその意味で書いてなさそうだったから

          • テクスチャ使いまわしは効果あるやで テクスチャアトラスってそういうもんや

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん