■AI向けチップの自分の理解

1. GPUはキャッシュ前提で作られている。例えばゲームだとキャラクターCGは使いまわし、シーン切り替えするまでキャッシュが効く。メモリ局所性あり
2. AIは、画像だと空間、文章だと文脈とどれだけ広いデータを参照するかがまずある。他のニューラルネットのパラメータ全部更新でキャッシュより、メモリ帯域が効く。
3. ニューラルネットのデータには流れがある。ニューラルネットの構造をそのままハード化出来ると良いが、1チップで収まらない。複数チップ接続することになるが、広帯域のチップ間通信は規格なく、独自。

Permalink | 記事への反応(1) | 14:53

ツイートシェア