2024-05-22

AI向けハード仮想メモリキャッシュとか、あまり意味なくなってる?

今のAIモデルだと、VRAMに載らないと動かせない。

VRAMの仮想メモリもないので、遅くなるけど動く、というのはなく、すぐに載らない。

ゲームだと、キャラクターデータキャッシュに載せておけばヒットするが、AIモデルそもそもキャッシュより大きいし、

メモリ局所性なんてのもないので、純粋メモリ帯域勝負

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん