■GPT-3学習できるようなスパコン、日本でも必要？

はてブでホットエントリーに上がったGPT-3だが、マイクロソフトのデータセンターを使っていて、

85,000のCPU、10,000のGPUと400Gbpsのネットワークで接続されたクラウドを使っていると言われている。

1750億個のパラメータがあるので、メモリも必要だわ、学習時間も必要だわになっている。

ムーアの法則を超えたスピードでパラメータが増加しているので、AIチップが出てくればなんとかなる、にはならない。

気になるのは日本語対応するかどうかだが、アメリカ勢からすると、そんな日本語データ用意するモチベーションがない。

スパコン富岳もAIは考慮したといわれているが、どちらかというと使いやすさ重視だし。

Permalink | 記事への反応(1) | 17:38

ツイートシェア