CPUやGPUを大量に並べて並列で殴る学習、収束がゆるやかにでもいい方向に進み続ける学習アルゴリズムさえ見つければ…って感じでロマンあっていいよね
1750億のパラメータはどうあがいてもGAFAMしかできなさそう
それはそれとして、最近の自然言語処理界隈全然分からんのだが語族の壁は突破されたんだろうか
壁がある限り日本語は日本語でデータ集めて日本でマシン回し続けないとみたいなとこありそう
Permalink | 記事への反応(0) | 17:46
ツイートシェア
はてブでホットエントリーに上がったGPT-3だが、マイクロソフトのデータセンターを使っていて、 85,000のCPU、10,000のGPUと400Gbpsのネットワークで接続されたクラウドを使っていると言われ...
CPUやGPUを大量に並べて並列で殴る学習、収束がゆるやかにでもいい方向に進み続ける学習アルゴリズムさえ見つければ…って感じでロマンあっていいよね 1750億のパラメータはどうあがい...
18
