■機械学習でNVIDIA一強になってしまっているのは何故？

仮説1) ハード性能として、演算器とメモリ間のデータのやり取りの隠蔽が上手く、性能が出ている

単体の演算器の性能なんてクロック周波数が速くなっている現代だと数クロックの差なんてわからないだろう。

メモリーは社外の汎用品GDDRを使う以上、帯域やレイテンシは変わらない。

違いが出てくるとすると、どうやってメモリ間を隠蔽しているかというのが想像出来る。

データ待っている期間を出来るだけ少なくする、といった感じだ。

仮説2) ハード性能として、多数の演算器を動かしても問題ないように電源を工夫している

演算器を並列に多数動かすと配線抵抗などで電源がドロップする。

電源配線のノウハウをNVIDIAが持っていて一日の長がある

仮説3) ソフトとして、CUDA、PyTorch のチューニングが出来ている。ドライバの出来がいい。

チューニングで性能上がっているのなら何処がボトルネックになりそうな所をあげているのか。

PyTorchだけで見ると、コード量は少ないので、移植しようと思えば出来るように見える。

Permalink | 記事への反応(1) | 10:13

ツイートシェア