■AI向けのコンピュータ構成って、どういうのが最適なんだ？

AIを使いたいと思った時の、パソコンの不満点がある

1. VRAMが24GBでは足りない。1つのモデルも動かせない。VRAMが欲しい。
2. 複数のモデルを動かすのを考えると2枚くらい拡張したい。
3. RTX4090などではクーラーが占めてしまって、CPUとGPUどちらが本体かわからなくなっている。
4. NVIDIAが強いのはわかるが、AIだけ考えるとAI専用のチップで速いのが欲しい。グラフィック系は最低限でいい。

AppleのM2のCPUチップの隣にAI向けアクセラレータを付けて、チップ-チップで接続、AIアクセラレータの周囲にVRAM配置

という構成がいいのだろうか？

ニューラルネットのデータの流れに沿ったハードが良いんだろうが、いまいちよく分からん。

ゲームだとシーン変わるまで同じデータ使い回すのでキャッシュ効けばいいのだろうけど、

AIの場合モデルが大きすぎてメモリ帯域勝負という理解だがあってるだろうか？

Permalink | 記事への反応(3) | 14:18

ツイートシェア