NVIDIAのDGX-1とDGX-2の比較とNVSwitchについてのメモ

2018-03-28

公開用Blogもってないのでここにメモしとく

	DGX-1	DGX-2	DGX-1比	参考DGX-1*3
価格	$149K	$399K	268%	$447K
消費電力	3.2kw	10kw	313%	9.6kw
CPU	Xeon E5-2698(20core)*2	XeonPlatinum(28core?)*2	140%?	Xeon(20core)*6
Memory	512GB	1.5TB	300%	1.5TB
GPU	Volta*8	Volta*16	200%	Volta*24
GPU-Memory	128GB(16GB*8)	512GB(32GB*16)	400%	384GB(16GB*24)
SSD	1.92T*4	30TB	375%	23TB(1.92*12)

値段2.5倍、消費電力3倍をどうみるか。

用途によってはDGX-2(Volta*16)よりDGX-1を3台(Volta*24)とかのほうが・・・。

消費電力高そう。

上記の比較でCPU数同じ、GPU倍、で多分増えてるPCIe スイッチ増加分にSSDやメモリ増量を含めても消費電力3倍以上というのは・・・。

上記の表から単純に考えて　NVSwitch 12個の消費電力+(PCIe スイッチ*X) = Xeon*4 + Volta*8 - HBM2 128GB分 - SSD7TB分。NVSwitch1つで数十Wはありそう、100w超えるかも。

18Portある。

DGX-2での接続は不明。

GPU-Switch間は各GPU から6Switchに1Portづつ接続。Switchの8Portを使用。ここまでは確実だと思う、これ以外の接続思いつかない。図みたらそうっぽい。

問題はSwitch間がどうつながるか、6基づつで1クラスタ、クラスタ内はSwitch間接続不要、クラスタ間は別クラスタの1SwitchにGPU 接続数と同じ8Port使用とか？(合計16Port使用)

全然違った。クラスタ間は別クラスタ6Switchに1Portづつだった。

消費電力は１つ100w。12個Switchで1.2Kwだと。GPU間そんなつかわないならSwitch減らしてGPU増やしたいところ。

いや、クラスタ間は予想通りだった。そしてSwitch減らしたいというのは同意。

X86系ではGPU間接続優先でCPU-GPU間は重視しない方向性にし、

Power系でCPU-GPU間を重視する方向性に行くように見える。