  |
AI、というよりはChatGPTのようなデカくて応用力が期待されるLLMに向いてない。
LLMはあくまでも、データセットから学んだ情報を元に「与えられたテキストにはどんな言葉が続く可能性が高いか」で動く。
LLMは人間ではないので、自然言語をトークンという値に変換してから学ぶ。この場合、我々にとっての数字の1はLLMにとって数字の1ではなくなる。要は、1を1として認識してない。
だからChatGPT単体では正しくカウントできないことがあるし、計算や生年月日の他、細かい部分も間違うことがある。ただ確率に従っているだけで、自分が何を書いてるか分かってないから。
脳の中に色んな概念が重なり合っていて、その中から一つの可能性を選び続けているだけだと考えればいい。
この仕様で常に正しい情報を言うってことは、めちゃくちゃ学習して「この流れの時は99％の確率でこのトークンが続く！」みたいな状態にならないといけない。（Top PとTemperatureの調整で似たような状態は作れるが）
でもその状態になると、応用力がなくなるんだよ。例えばリンカーンについてめっちゃ学習したら、生成時にリンカーンという単語が入ってるとWikipediaを先頭からコピペしたような文章ばかり吐くようになる。しかもここで、間違って学習してたら目も当てられん。
画像生成AIのプロンプトに「モナリザ」と入ってたら、どう頑張っても額付きの「あのモナリザ」が生成される、みたいな状態だ。
それは従来のチャットボットの仕事。本来ChatGPTに求めることじゃないんだよ。
だから何かに特化したAIが求められる。LLMには教えてと聞くのではなく、パターン処理能力を活かす方向で使えといわれる。RAGとか。
なにかの概念や思想について教えてっていうと、正しそうな答えを出してくるけど、 ピンポイントで〇〇という人物について教えてっていうと、生年月日が違ったり、ググれば秒でわか...
AI、というよりはChatGPTのようなデカいLLMに向いてない。 LLMはあくまでも、データセットから学んだ情報を元に「与えられたテキストにはどんな言葉が続く可能性が高いか」学ぶ。 LLMは人...
学習量が不足しているだけ。 確率的な情報の結合だけで正解を導き出すには、学習量を増やし続けるだけで収束する。
いいえ。 単純に量を増やすと過学習を引き起こすことがあります。 丁度よく人間に近いパラメータを設定しないと人間的な判断をしてくれません。 かといって人間的な判断を出来るよ...
22
