  |
画像を離散コサイン変換で、とか、仮想メモリ使いつつもキャッシュヒット率をいかに上げるかとか、そういうのから機械学習って遠い。
メモリの局所性なんぞないからキャッシュなんてメモリアクセスのレイテンシ隠蔽くらいにしかなってないし、
メモリは帯域はあればあるだけ、容量もあればあるだけ、
Flash AttentionでようやくDRAMへのアクセス減らそうとかあるけど、コンピュータの構成無視、
いかに長い文脈を認識させられるかになってデータの局所性なんてなくなって、どれだけ複雑な計算とデータ量を食わせるかになっている。
今までのHPCも同じでコンピュータサイエンスだと言われれば、そうなんだが
GPU使ってながらも、グラフィックスパイプラインみたいなのを、AIのレイヤー層ごとに作れているわけでもないし。
16
