Groqについて

数年前は、TSP(Tensor Streaming Processor)と呼んでいたが、LPU(language processing unit)と名前を変えた？

数年前のチップをそのまま使い続けているか分からないが、同じならアーキテクチャは4年前のユーチューブを見るか、アスキーあたりの記事にある。

要は、コインパイラで変換が必要。なので提供されているLLMモデルが限られている。

SRAMを240MB(230MB?)しかない。

PCIe ボードが400万くらいらしいが、SRAMの容量が小さすぎて1ボードでは動かない。

DRAMのレイテンシがSRAMではないので早いのだ、という意見も見られてたが、

1チップのSRAM容量が小さすぎるので、チップチップ間、ボードボード間の通信レイテンシは必ずあるはず。

（数ヶ月前から性能上がっているのは、このあたりのチューニングのはず）

DRAMのレイテンシというが、これも今どきはレイテンシ気にしないように隠蔽するはず。

チームが小さすぎてハード作れなかった可能性もあるが・・・。DMACでチューニングしているか？

ボードにでかい DRAMが載せられるのであれば、そちらの方がボードボード間の通信時間より減るのでは？

GF使ったのは、おそらくAMD 設計者が居たからでは。デザインルールどこ破れば性能でるかある程度わかってたとか。1GHzくらいなのは知見なしでやってるとそれくらいで上限くるのはそうだと思う。

チップの世代を更新するかはわからないが、兎にも角にも電力下げて、チップ大量に載せて、チップチップ間の通信時間を下げられるか。

2024-02-20