  |
個人的にInstinct MI300に注目しているのは、今後のコンピュータ構成はこうなるだろうな、というのを実現していることだ。
Ryzen Threadripperだとコア数が多いもののハード的なボトルネックがそこかしこにあるので使いにくいわけだが、
Instinct MI300は良さそうに見える。
現状のPCIeだと帯域が遅く、CPU側のDRAMから、GPUのVRAMにコピーするのはそれなりに時間がかかる。
ゲームだと局所性のあるデータを繰り返し使うのでキャッシュで逃れられるし、シーンの切り替えなどでデータ転送するといったことが出来る。
だがAI向けになるとVRAM容量以上（80GBとか）のデータに全てアクセスするので、メモリ転送レイテンシを隠蔽するだけのバッファとしての効果しか意味がなく、メモリ帯域が効いてくる。
Instinct MI300にHBM3が使われていて帯域は広い。レイテンシは大きいと思われるので、そこは気になるが。
11
