■和製 ChatGPT の作り方

どうせ官主導ではうまく行かない。だが、理想論をぶち上げる意味はあるだろう。

異次元に膨大な計算リソースをもつAI処理基盤システムの構築が必要

• 2020年 (3年前) のGPT-3の水準ですら、1,000基規模のGPUクラスタ上で並列化して学習されたものである。GPT-4では文字通り「桁が違う」と思われる (OpenAI は2020年当時、Microsoft から 10,000基のリソース供与を受けていた)。
• 深層学習におけるモデル学習は「職人技」で、ノウハウを知らないと全然うまく行かない。多数の日本人技術者・研究者が同時並行的に試行錯誤するリソースが必要であり、それはおそらく数万基規模のGPUクラスタということになる
• 仮にGPUノード一つ当たり300万円とし、5万基規模のGPUクラスタ (GPT-3 当時の Open AI 5個分。GPT-4には足りないかもしれない) を作ろうと思うと、1,500億円が必要である。当然、空調などのランニングコストは別途必要である。
• ちなみに我が国が誇る産総研の「大規模」AIクラウド計算システム (ABCI) は Nvidia V100 が 4,352 基、A100 が 960 基の計 5,312 基である。一桁足りない。

※計算基盤を自作するのは非常に重要で、そうしないと、GPUクラスタ内での並列化や通信ネットワーキングなど、ChatGPT を動かすためのコアの機能を獲得することができない。正直、ここを外資に握られてたらどうしようもないんじゃないか。

膨大な計算リソースを共有し、活発に議論する研究者コミュニティの創成が必要

• 計算リソースだけが有っても、無能が専有していたら意味がない。しかも、誰が有能なのかは事前には分からない (試行錯誤の中で当たりくじを引いた奴が有能と定義されるのである。ただし、当たりくじの引き方にはコツがある)。
• つまり、計算リソースはプロジェクトに賛同する技術者・研究者に向けて広く提供される必要がある。
• もちろん、リソースは限られているので、何らかの方法で配分する仕組みが必要である。
• 有識者に事前審査という名目で大量の申請書類を読ませるのはアホの所業である。そんなことをしている場合ではない。有識者自身が手を動かして技術革新を起こすのだ。
• 例えば、一定の知識水準に達する技術者・研究者は誰でもリソースにアクセスできるが、利用可能時間や規模に制限があるという形式が考えられる。良いアウトプット(技術記事の公開、集会での発表など)を出した人はレベルが上がり、利用可能なリソースが増えるという仕組みだ。
• 集会の場を定期的に設けることは非常に重要である。現代の研究者は忙しすぎるので、基本的に「締め切り駆動型」で動いている (投稿期限に間に合うように残業して論文を書くのだ)。忙しい合間を縫って集会に行き、ディスカッションをするとめちゃくちゃモチベーションが上がる。これはたいへん重要なことである。
• 一般にはあまり知られていないが、実は革新的なアイデアは、学会の合間にコーヒーを飲んでドーナツをかじりながら雑談することで生まれるのである。

技術的には、そもそもインフラ整備が必要

• 上ではGPUクラスタを調達すれば良いみたいなことを書いたが、実際には、クラスタ上で分散学習させること自体がめちゃくちゃ難しい。
• 機械学習の知識だけでなく、GPUハードウェアやコンピュータアーキテクチャ、クラスタ内通信のためのネットワーキング(ルーティングや輻輳制御)など、複数の分野にまたがった叡智を結集する必要がある。
• ただし、これは国産クラウドが上手くいかなかった遅れを取り戻すチャンスとも言えるかもしれない。特定の研究グループとか、企業だけでクローズドにするんじゃなくて、広くリソースを提供して技術者・研究者に使わせるのだ。
• 文字通りただ「叡智を結集」させれば良い。基本的に、自由に触れるリソースさえあれば、優秀な技術者・研究者は放っておいても勝手に競うように研究するのだ。美味しそうなエサを撒いておけば、勝手にわらわらと群がってくるタイプの叡智だ。仲間を呼んで勝手に増殖したりもする。そういう生態の生き物なのである。必要なのは、リソースを調達し、余計な口出しをせず、門戸を広く開いておくだけなんだが、まあ「官」の皆さまには無理でしょうね。

とは言え、現実的には……

• 計算処理基盤の構築自体に時間がかかる。ChatGPTが今まさに世の中を変革しようとしている。一刻を争う自体なのに、これの完成まで次のステップに移らないのはアホである。
• 当面は、外資にお金を吸い上げられながら、外資クラウドの計算リソースを「使わせていただいて」、大規模言語モデルの構築と技術者・研究者コミュニティの創成を実現するほかない。
• つまり、計算処理基盤の構築と、外資クラウドを利用した国産大規模言語モデルの学習を同時に進める必要がある。
• 技術者・研究者コミュニティ作りは今すぐにでも始めるべきである。既存の学会の枠組みを超えて、和製大規模言語モデルプロジェクトとして諸分野の技術者・研究者が交流できたら超楽しいと思う。
• これは、15年から20年スパンの大規模国家事業であることを認識すべき。この先10〜20年間における社会の大規模変革を乗り越えるための投資である。惜しんではいけない。
• これはそもそも、日本語という文化の尊厳にも関わる問題である。そのAIは日本語を話すが、脳みそは英語なのだ。日本語で考え、日本語で喋る存在ではない。手をこまねいていては、この先、アメリカナイズされた日本語が我が国を席巻するのだ。愉快ですね。

Permalink | 記事への反応(3) | 17:19

ツイートシェア