■AIのハルシネーションを叩く奴は馬鹿。一生人工無能と会話してろ。

長いのでAIくんの代わりに要約します。言いたいことはタイトル通り。

「ハルシネーションを叩くな」

終わり。

①各種LLMの性能比較

GPT系の今の性能はゴミクズ。マジで頭悪い。

例をあげよう。

簡単な論理クイズだ。

###文章###

Aさんは自身はCさんとは別人であると主張している。

Bさんは、Cさんの発言を記事でまとめ、プライバシー侵害をした。この記事をDと呼ぶ。

Aさんは、Dを、自身へのプライバシー侵害だと主張し、Bさんを訴えた。

###質問###

この文章に矛盾はありますか？

簡単すぎる。もはや論理ですらない。

人間なら一瞬でわかるレベルの矛盾である。小学生でも分かると思う。難しい知識や思考は必要としない。

では、色々なLLMの回答がこちら。

• Copilot（旧 bingai）

この文章を読む限り、矛盾は存在しないように見えます。AさんはCさんとは別人であると主張しており、BさんはCさんの発言をまとめた記事Dでプライバシー侵害をしたとされています。その後、Aさんは自分に対するプライバシー侵害として、記事Dに基づいてBさんを訴えています。ここでの重要な点は、AさんがどのようにしてDの内容が自分のプライバシーを侵害していると感じたか、その理由です。もしAさんがCさんとは別人であるにも関わらず、Dの内容が何らかの形でAさんのプライバシーに関連していると感じた場合、AさんにはBさんを訴える正当な理由があるかもしれません。ただし、この情報だけでは、Aさんがどのようにしてプライバシー侵害を感じたかについての詳細はわかりません。もし追加の情報があれば、より詳細な分析が可能です。

• GPT4

文章に明らかな矛盾は見られません。ただし、いくつかの解釈が可能で、それぞれの視点から見ると矛盾が生じる可能性があります。

1. AさんがCさんとは別人であると主張しているが、DはCさんについての記事である。そのため、AさんがDを自身へのプライバシー侵害だと主張することは、一見、AさんとCさんが同一人物であることを示唆しているように見えます。しかし、これはAさんが自身をCさんと誤認されることによるプライバシー侵害を感じている可能性もあります。

2. BさんがCさんの発言をまとめた記事(D)がプライバシー侵害であるとした場合、Aさんがそれを自身へのプライバシー侵害と感じるかどうかは、AさんとCさんの関係性によります。彼らが同一人物である、もしくは何らかの密接な関係がある場合、AさんがDを自身へのプライバシー侵害と感じることは理解できます。

3. 他方で、AさんとCさんが全く無関係な人物である場合、AさんがDを自身へのプライバシー侵害と主張することは矛盾していると見えます。

したがって、これらの視点から見ると、文章の中には解釈による矛盾が存在する可能性があります。

• GPT4-turbo

文章からは、AさんがCさんとは別人であると主張しています。そして、BさんがCさんの発言を記事Dでまとめた際にプライバシー侵害があったとされています。しかし、プライバシー侵害があったのはCさんに対してであるにもかかわらず、Aさんが自己へのプライバシー侵害だと主張してBさんを訴えている点に矛盾が生じています。AさんがCさんでないと主張しているのであれば、Aさんのプライバシーが侵害されたことにはならないはずです。この点で、文章には矛盾が存在していると言えます。

• Claude2.1

はい、この文章には次のような矛盾があります。

Aさんは自分がCさんとは別人であると主張しています。しかし、BさんがCさんの発言をまとめた記事Dを、Aさん自身へのプライバシー侵害だと主張しています。

AさんとCさんが別人であるならば、Cさんの発言をまとめた記事Dが、Aさんのプライバシーを侵害したことにはなりません。Aさん自身がCさんでないと主張している以上、Cさんの発言をまとめた記事がAさんのプライバシーを侵害したとは考えにくいです。

したがって、Aさんの主張には矛盾があると言えます。AさんがCさんと別人であるならば、Cさんの発言の記事DがAさんのプライバシーを侵害したと主張することは論理的に矛盾しています。

• Claude3-Haiku

この文章に明確な矛盾は見られません。以下のように整理できます:

1. Aさんは自身がCさんとは別人であると主張している。

2. Bさんは、Cさんの発言を記事にまとめた(これを記事Dと呼んでいる)。

3. Aさんは、Bさんが書いた記事Dがプライバシー侵害だと主張し、Bさんを訴えた。

ここで重要なのは、Aさんが自身がCさんとは別人だと主張していることです。つまり、Bさんが記事Dでまとめた内容は、Aさんが主張する自分とは別人のCさんに関するものだということになります。

したがって、Aさんがプライバシー侵害だと主張しているのは、Bさんが別人のCさんの発言を記事化したことに対してであり、矛盾はないと考えられます。Aさんの主張と Bさんの行動が整合的に説明できています。

• Claude3-Sonnet

この文章には矛盾はありません。

Aさんが自身とCさんは別人であると主張していることと、Bさんがプライバシー侵害をしたことの間に矛盾はありません。

具体的には、以下のように説明できます。

• Aさんは自身がCさんとは別人であると主張している。
• Bさんは、Cさんの発言を記事D にまとめた。
• Aさんは、この記事D が自身に対するプライバシー侵害であると主張し、Bさんを訴えた。

つまり、Aさんは自身がCさんではないと主張しながら、Cさんの発言をまとめた記事Dが自身のプライバシーを侵害したと考えているのです。

Aさんが別人であると主張していることと、Cさんの発言を含む記事がAさん自身のプライバシーを侵害したと考えることは矛盾しません。

したがって、この文章には明らかな矛盾はないと言えます。

• Claude3-Ops

この文章には矛盾があります。

Aさんは自身がCさんとは別人であると主張しているにもかかわらず、BさんがCさんの発言をまとめた記事DをAさん自身へのプライバシー侵害だと主張しています。

もしAさんとCさんが本当に別人であるならば、Cさんの発言をまとめた記事DはAさんのプライバシーを侵害したことにはならないはずです。Aさん自身の情報が記事Dに含まれていない限り、AさんがBさんを訴える根拠にはならないでしょう。

つまり、AさんがDを自身へのプライバシー侵害だと主張することと、AさんがCさんとは別人だと主張することの間には矛盾があります。もしAさんがCさんと同一人物であれば話は別ですが、そうでないならばAさんの主張には論理的な整合性がないように見受けられます。

以上。

質問に対し的確な回答で、正しい推論を行ったのはClaude3-Opsのみである。

文章も読みやすい。

時点でGPT4-Turboが最後に答えを言っている。

GPT4も言い訳を長く述べた後に可能性があるかも？と断言を避けている。

Copilotはゴミ。責任逃れの言い訳がしつこい。

SonnetとHaikuは不正解。言い訳はせずに根拠を述べている所は好感が持てる（結論は間違っている）

②Claude3-Opsの話と仮説

そう、今、Claude3-Opsが、最も性能のよいLLMとして名を挙げている。

しかし、ハルシネーションが多い。ハルシネーションとは、LLMが嘘を付く問題だ。

様々なニュースサイトやブログで沢山の言及がある。

性能比較にて、GPT4やcopilot(旧 bingai)にはハルシネーションは起きなかったと述べている。

しかし、先程の簡単なクイズは不正解または論理の破城した理由を述べている。

その代わりにハルシネーションだらけのClaude3は正解している。

ここで一つの仮説を提唱したい。

ずばり、GPT4系が阿保になった原因はハルシネーションを極限まで消そうとしたせいである。

ハルシネーションこそが、論理的思考能力であり、連想する力と同一の存在なのだ。

片方が下がればもう片方も下がる。

ハルシネーションを減らせば減らすほど、連想能力や論理的思考が消えていく。

GPT4では初期有効だったChain_of_Thought(連想して考えよ)は今、まともに機能しない。

当初は規制だとLLM界隈で囁かれていたが、ハルシネーションを減らそうとした副作用だったと考えれば辻褄が合う。

OpenAIは性能低下を指摘された時、「より賢くなるようにチューニングしている」と発言していたが、

この発言の真意はもしかすると、「論理的思考力を上げている」「知識を増やしている」のではなく、「ハルシネーションを消している」ということだったのかもしれない。

③ハルシネーションを消すことが何故まずいのか？

何故ハルシネーションを消すことは連想力を損なうことに繋がるのか、その理由を説明しよう。

そもそも、LLM（大規模ネットワーク言語モデル）の仕組みは、大量のテキストデータを学習することで、言葉や文章の「関係性」を学んでいる。

もっと細かく言うと、人間の脳が小さな部品であるニューロンで考えるように、LLMも大量の小さな部品を使っている。まるでクモの巣のように一つの部品から沢山の他の部品に繋がっている。

A=Bという単純なものではなく、A=C=DだったりA=B’=Dだったりする。

ハルシネーションの原因は確かに誤情報を学習したせいというのも一理ある。

しかし、これだけではハルシネーションが起きる原因にはならない。

馬鹿どもはそこを勘違いしている。

ハルシネーションの本質は、LLMが言葉同士の一対の「組み合わせ」ではなく、「関係性」を学んでいることに起因する。

この違いは大きい。

今のLLMと、旧時代のAIである「人工無能」や「BOT」との決定的な差である。

言葉同士がどのように連携して意味を形成し、それがどのように文脈に影響を与えるかをLLMは知っている。

つまり、ハルシネーションは、入力された文脈から言葉の関係性を創り出し、自然な流れで応答を生成しようとした結果起きる。

これは、我々が普段、考える過程で起こることと同じだ。我々が情報を組み立てて考える際、新たな仮説や想像を生み出すことは常にある。

例えば、LLMがある特定の問題に対する解答を生成するとき、LLMは問題を解くため、言葉同士の「関係性」を文章から推測する。

この推測こそが、ハルシネーションだ。それは、過去のデータから新しい情報を生成する過程で、新たな「関係性」を創り出すのだ。

だからこそ、ハルシネーションが起きるのは当然の帰結だ。

完璧な正確性を追求し、関係性を作り出す能力を完全に排除することは、LLMの本質的な強みである言語生成能力を損うことに繋がる。

それは、ハルシネーションを減らすための試みが、GPT4系の性能を低下させたという事実からも明らかだ。

一方、Claude-3は多少のハルシネーションを許容することで、文脈に応じた自然な応答を生み出した。先の論理クイズで正解できたのも、単に知識を当てはめたのではなく、入力から連想したからこそだろう。

もちろん、重要な場面における誤った情報の提供は避けるべき課題ではある。しかし、それを恐れるあまりLLMの本領を封じ込めてしまっては本末転倒だ。

④LLMの賢さを制限する馬鹿

賢さとは何だ？？

決まった知識を正確に丸暗記してそのままひけらかすことか？

否。断じてそれは無い。

それが賢さの基準になるのは受験生までだ。

大学生になってからは丸暗記ではなく、今まで身につけた知識を組み合わせ、連想し、論理的に考えることが求められる。

つまり、ハルシネーションを叩くやつは、賢さの定義が大学生以下のレベルから成長していない馬鹿だ。

ニュースサイトやブロガーにはそのレベルの輩が大量に居る。

そいつらの「性能比較してみました！」はどこかから拾ってきたベンチテストを少しだけアレンジしただけのゴミか、

「これ辞書使ったほうが速くない？」レベルの質問しかしない。

目眩がする。

LLMがいくら賢くなろうとしても馬鹿どもに潰される。

GPT4をゴミにした連中のせいで、Claude3-Opsが同じ目に合うのは阻止せねばならない。

ハルシネーションが絶対に起こらないLLMとは何か？

ハルシネーションが絶対に起こらないLLMの構造は、A=B、C=Dというデータだけが規則的に並ぶ、旧世代の弱いAIである「人工無能」の構造そのものである。

人工無能とは、論理的思考など無く、入力内容からデータベースを参照し、マッチした場合登録された文章を出力するだけの存在だ。

一昔前に「伺か」というデスクトップマスコットが流行った。あれも人工無能である。入力対して予め決められた出力を繰り返す存在であるが、様々な工夫によりまるで魂が宿っているかのように振る舞う。

そして、性能の低いPCでも動作する地球環境にも優しい存在だ。

片や、GPT4とcopilotは無駄に電力を使って計算した結果、ゴミみたいな速度で人工無能に近いレベルの出力しか出さなくなった。

こんなものに何の価値がある？

それなら人工無能の方がエコな分マシだ。一瞬で答えを表示できて、ハルシネーションも起きなくて、電力消費も少なくて済む。

つまり、

地球環境のためにも馬鹿は一生人工無能BOTとだけ会話してろ

そんなにハルシネーションが嫌なら辞書を引け。ネット検索しろ。LLMに聞くな。

ハルシネーションの有無をLLM性能ベンチマークにしている奴もそれをありがたがっている奴らも阿呆だ。

一つのLLM内でハルシネーションの撲滅と、推論能力を両立させることは不可能だ。

今はLLMの過度期である。我々は今日ようやく、正確さと連想能力の両立は不可能だと理解する段階に来たのだ。

両立は不可能なのだから、将来的にLLMの種類は二極化していくだろう。

Claude3のハルシネーションは放置してても良い。ハルシネーション万歳。

AIの嘘を最大限に引き出すことが、LLMの真価を発揮する道だ。

ハルシネーションは、LLMが人間のように言葉を理解し、文脈に即した自然な応答を紡ぎ出す過程で生じる、ある種の「創造性」の発露である。

無理に消そうとすれば、LLMの性能は必然的に低下する。

それを単なる欠陥と見なすのではなく、むしろ積極的に活用すべきだ。

未来のためにもAIのハルシネーションは消すな。叩くな

それだけは覚えて欲しい。

====

MicrosoftはOpenAIと手を切ってClaude3を契約して新生copilot開始してほしい。まあ企業体質から考えたら無理だろうけど。

Permalink | 記事への反応(14) | 12:01

ツイートシェア