  |
はてなキーワード: gptとは
「子供の頃野球選手になりたかった夢を未だに引きずり続けている工場勤務のおっさん」
「子供の頃アイドルになりたかった夢を未だに引きずり続けているコールセンターのおばちゃん」
そういう生き物がいるらしいって昔聞いてたけど、自分がそういうたぐいの連中の仲間入りする所は想像してなかった。
自分が本当に何者になりたかったのか思い出せないまま今も生きている。
仕事を通して突然世界のヒーローになってしまえる可能性は一切感じない。
勤続年数が自分の1/3に満たない新入りにも抜かれるぐらいには才能がないから。
頭数合わせの冴えないオッサンとして、最低限の仕事をしながら歯車として仕事を回す。
それで手一杯だから休日はただダラダラと妄想をしながら昼寝したり、ネトフリ見ながらネットサーフィン。
自分と同い年ぐらいの成功者を見かけると自分の人生と何が違ったのか考えてしまう。
だけど本当に才能の世界で生きているフリークス達の存在に対しては、なんかもうあきらめが付くんだよな。。
プロ棋士やスポーツ選手みたいな異次元の存在と自分を比べても無意味だ。
乙一のデビュー作が１６歳で書かれたなんて聞かされても相手は化け物だからどうでもいいと割り切れる。
一番質が悪いのは、仕事の中でそれなりに成功を収めてる感じの人達だ。
そういう名刺代わりになるような経歴を手に入れた普通の労働者を見かけると自分と比べてしまう。
俺はきっとそういう風にはなれないだろうし、なってしまうとプレッシャーで押しつぶされそうだから避けて生きてきた節さえある。
この世界に生きた証が欲しいとかそういう言葉で表現されるような感覚だ。
俺の場合はこの世界で生きる資格が自分にあると胸を張って生きていける何かが欲しいって感じだけど。
この感覚がそもそも毒されているんだってことは自分で気づいている。
結果を出さなきゃ胸を張って生きられないなら、生まれつき障害がある人や病気でずっと入院してる人はどうなるんだって話だ。
シルバーさんとして労働もしてない年金食いのジジババは社会のお荷物だからトットト死ねなんて言って回る気はないんだ。
そのはずなのに、自分がこの世界で生きるためには何か結果を出す必要があるんだって緊張感にいつも包まれている。
結局、実際に言葉や行動に出してないだけで、心の何処かで生産性の低い人間は社会のためにさっさと死ねと思っているんだろうな。
俺が向き合うべきは結果を出せない自分の人生のほうじゃなくて、結果を出さなければ生きる権利がないっていう基本的人権ガン無視な価値観に毒された自分の世界観なんだと思う。
今の状態で下手に結果を出してしまったら、まだ結果の出てない人達に死ね死ねと唾を吐きかけていく化け物に変わってしまいかねない。
どうしたらいいのかわからないんだ。
ぶっちゃけ、社会がそういった価値観で染まっているから、俺もそれに染まっているだけな気はするんだよな。
少なくともリーマン・ショックの直後の世界では、本当に世界はそんな色で染まっていて、その中で切り捨てを恐れた老人たちが全部の責任を若者に押し付けようと世論誘導したことで毒が濃縮されて凄いことになっていたわけだ。
自分が今やっている仕事が社会に余裕を生み出すために役に立っているという実感が持てれば……いや、その場合は社会に余裕を生み出すのに貢献していない他の人間に死ねと言って回るようになるだけだな……。
二日前にMetaがオープンソースの大規模言語モデルのLlama3を出した。
一つ前のモデルLlama2は色々なオープンソースモデルの基となっていたモデル。このモデル性能良いねと思って見たら、Llama2をいじったモデルだったことがよくあった。
今回も、２つのモデルが発表された。70Bと8Bモデル。70Bモデルともなると、ほぼ個人のパソコンでは動かないだろうけど、性能については、LLM のリーダーボードで最初期のGPT-4 を超えている。
LLMの最重要論文とも言われる"Attention is all you need."の著者の一人の会社が出したモデル"Command R+"が性能が良くて話題になっていた。これもオープンソースだが、今のところこのモデルにも勝っている。このレベルのモデルがオープンソースであるということはとても価値がある。
ここ一、二ヶ月でようやくGPT-4 と互角に戦えるモデルが出てきた。一時期はClaud3がGPT-4を追い抜いた程だ（OpenAI が本気を出してGPT-4を強化して追い抜き返したんだけど）。もうGPT-4が出て１年が過ぎた。研究者やリソースなどは過去に類を見ない程注ぎ込まれたと思うが、GPT-4と同じ性能のモデルはほぼ１年経たないと出てこなかった。OpenAIの凄さがわかる。GPT-4か出てきた当初はあまりの性能の良さに本当にシンギュラリティが起きたんじゃないかと驚愕したが、一年使い続けると、粗やら推論能力の低さに気が付いてくる。今年中に出るであろう、GPT-5に期待だ。
ある増田は、
- 問１：増田の歪んだ認知の根源になっていると思われる、思想信条について予測しなさい
増田が持つ思想信条には、おそらく確証バイアス（Confirmation Bias）が深く関与していると考えられます。このバイアスは、個人が自身の既存の信念や意見を支持する情報だけを選択的に受け入れ、反対または矛盾する情報を無視する傾向を指します。増田は数十年にわたるデータに基づく予測と、全く根拠のない極端な主張を同等に扱ってしまっているため、彼の信じたい内容に対する過度の執着が認識の歪みを生んでいる可能性があります。
この種の認知の歪みは、しばしば個人の過去の経験や育った環境、教育レベルに深く根ざしています。また、情報を取るソースが限定されているか、一方的な情報ばかりに晒され続ける環境にいると、こうした認知歪みが強化されることもあります。社会的な孤立やエコーチェンバー（同意見の人々だけで囲まれる環境）にいることも、現実の多様性を認識する能力を低下させる要因となり得ます。
増田のような認知の歪みを避けるためには、多角的な視点から情報を収集し、様々な意見に耳を傾けることが重要です。批判的思考を養うために、情報の出典を常に確認し、その信憑性やバイアスを考慮することが求められます。また、自分の信じたいものだけを信じるのではなく、異なる視点からの意見やデータにも開かれた心で接することが重要です。これには、教育や自己啓発を通じて常に学び続ける姿勢も含まれます。
このような対策を心がけることで、現代社会における情報の洪水の中でも、より健全でバランスの取れた視点を維持することができるでしょう。
考えをまとめるために書いているので長くなってしまった。
投資マネーが再エネに集まり、既存電源に行かない状況が続いている模様。
再生可能エネルギーは、施設の製造・建設・設置、さらに運営のノウハウが溜まってきて再エネが安定した投資先と見做されてきており、潤沢な資金供給が続いている。
例えば、利回りなども、再エネ設備の耐用年数を従来は20年などで計算していた。これは公的補助が20年だったと言う前提だが、次々と公的補助が終了した結果、耐用年数を30年以上で計算するところが増えていて、それらをミックスした投資商品が登場、安定した資金調達に繋がっているようだ。
一方で、相対的に既存電源に対する投資が減っている。欧州でもエネルギー安全保障の観点から、イギリス、フランスなどで原発の新規計画が出てる。
今時、国の金だけでやると言う計画をイギリスが建てるはずも無く、資金を募集しているのだが、全然投資が集まらなくてかなり苦戦している。
これとは別の話として、エネルギー安全保障の観点だと言っているのに、当初目論みの建設費で手を上げたのが中国企業（中国"系"ですらない、中国の国営企業）しかないと言う状況で、これだとまずいと言う事で、新規設置の原発が生み出す電力の買取保証価格をつり上げたところ、なんと再生可能エネルギーの2倍から3倍の価格になってしまって問題化している。
エネルギーの安定供給・安全保障の観点という点では色々な電源をミックスするのは当然で、そういう点では単価の高い電力が混ざっても仕方が無い。
が、その国のエネルギー価格は、その国の国際競争力に直結する。製造業はもちろんのこと、ITのデータセンターの立地、研究施設の立地など情報系にも影響してくる。
国策である程度電力価格をコントロールできるからと言って、上げれば今度は国際投資が逃げていくということで、苦しい状況が続いている。
欧州と言うより主にフランスでの問題なのだが、フランスは原子力発電所で発電した電力を他の国に売ると言うビジネスを行っていた。
ところが、再生可能エネルギーが市場を荒らすようになってしまったため、もくろみが崩れてしまって採算性が悪化している。
既存電源と再生可能エネルギーの違いは何かと言うと、限界費用が全く違う。再生可能エネルギーは、燃料費がないと言うところが大きくて、0円以上で売却できれば利益になる。というか、勝手に発電されるので止める意味が無い。
そのため、他の電源では燃料費が上回って赤字になるケースでも電力を市場に流す事ができる。そんなものと価格競争しても意味が無いので、例えば火力発電所は再エネの供給が大きくなったら発電を止めて、採算より高くなったら稼働すると言う事を行っている。
特にLNGのガスタービンは即応性が高いため、再生可能エネルギーに追従して運転をするのに適している様だ。
一方、そんな器用なことができない電源がある。
それが原発。
原発は燃料を燃やしているにもかかわらず、再生可能エネルギーと似たような性質を持っている。発電を始めたら勝手に発電されるので止められない、出力調整が難しい、燃料費に比べて設備費・初期投資の割合が大きいといったことだ。
そのため思いっきり市場を食い合っている。再エネがピークで安い時は下手するとマイナスの金額（つまり、売買に関わる諸経費を発電側が持つというようなもの）で売却される電力に対して経済面で追従を迫られる。
それでも、再エネが担う割合が低いころは、それ以外の時間帯で収益を出すことが可能だった。しかし、段々と再エネだけで賄える時間帯が増えてしまい採算性が悪化しているのである。
また、原子力発電所など大規模電源は30年以上の耐用年数を見込んで採算が取れるように投資商品にするのが一般的で、原発の場合は40年以上も当たり前だ。その間当然リスクを見込んでるんだけど、変化が急激すぎてそのリスク範囲を超えてしまっていている模様。
これは時限爆弾みたいなもので、実はちょっとヤバいと思われる。
電源関係の投資ってかなり安定的な投資と見做されてる影響で、年金など公共性の高い投資商品に基礎的なものとして組み込まれていることが多く、吹っ飛んだら電力関係だけじゃ済まないと思われる。
そしてここが不安定なので、従来型の大規模電源開発に投資が集まらない状況が続いている。
環境 テロリスト 団体はESG投資の結果だとか宣伝するし、それに呼応するように原発 村の盲信者 関係者が陰謀論じみたことを言ってるけど、実際には経済的なリスクが大きい一方で、利益が少ないことが要因だと思われる。
もはや後戻りができないぐらい進んでしまっている。この流れは止まらないだろう。
ただ、各種のデータを見ると本当にこれで電力の安定性大丈夫なの？と心配になるんだが、進んでいる源が経済という祟り神なので止めらんない。すると安定化する方法はそれに対応する電源開発なり大規模蓄電なり水素・アンモニア製造するなりしかないと思われる。
実は、原子力発電所も、負荷変動に柔軟に対応するようなものは設計可能らしく、そういったものが出てくる可能性はある。が、投資基準は再生可能エネルギーに対してになるので、それより優位なものが作れるかはわからない。
日本は電力の自由市場の中にはいないので、急激な変革に巻き込まれてはいない。
また電力価格の決定が統括原価方式なので、例えば発電所を30年使うと設定して投資した場合、原則的に建設費などの初動費は30年間固定されて電力価格に転嫁することが認められている。
ある意味、再生可能エネルギーの固定価格買取制度によく似ているが、そちらとの違いは、稼働していない発電所の維持費も電力価格に転嫁できる仕組みであるということ。
例えば原子力発電所で再稼働出来てない発電所は多くあるが、発電して無くてもそれらの費用は電力価格に乗ってきているし、原発が稼働してない分だけ維持している旧式の火力の維持費なども当然ここに乗っかってくる。
これによって電力価格の上昇を抑え、安定化すると言う効果があるのだが、ここ15年ぐらいの急激な環境変化に対応できなくなってきているのも否めない。
ただ、制度を続けていけば、急激な市場の変化は発生しないと思われる
と、国内だけを見てればいいのだが。
既に書いたが、その国のエネルギーコストは、その国の競争力に直結する。国際競争に晒されている今、エネルギーコストが高いと企業立地などを逃すことになるので投資が集まらなくなる。
直近の動きでは原発を再稼働させようという取り組みが継続して行われている。
原発は燃料費よりも建設費・維持費がかかる。それらは再稼働しなくても電力料金に乗っかってる一方で、それに加えて燃料費の割合の大きい旧式火力を回さなければならない。これが電力料金を上げる要因になっているのは確かだ。
だから短期的には原発を再稼働させるということはあっているのだけれど、長期的に見ると、ライバルになり得る欧州が再生可能エネルギーという安いエネルギー源を苦しみながらも獲得しつつあると言う事には追従出来ていない。
さらに、欧州は環境対応を大義名分に、自分たちの有利な点を伸ばすような、再エネを使った製品では無いと追加の関税を課して保護政策を実行してくるのも間違い無い。自由貿易どこいったって思うが仕方が無い。
環境問題への対応はもちろんしていく必要があるが、今一度、エネルギーコストをどうやって下げていくのかと言う基本に立ち戻って電源の選択を考える時に来ていると思う。
その点では、洋上風力発電を巡る汚職が痛かった。かなり安い入札が行われていたのに、なんだかんだと理由を付けて不可とした。
その結果、国内の商社と組んでいた海外の電源開発会社が投資を引き上げちゃったんだよな。
せめてそういうことは二度と無いようにしたい。
筆者は明らかに先入観を持って親友について語っている。親友の性格や行動を独自の視点で解釈し、親友の選択に否定的な感情を表している。筆者は親友の変化に対してショックと失望を感じており、これは親友に対する一定の期待や観念があったためと思われる。
また、親友の人間性や選択を一方的に批判する姿勢が見受けられる。
筆者は親友の内面や状況を深く理解しようとはせず、自分の視点から親友を評価しているように感じられる。
このような先入観に基づいた視点は、筆者自身の感情や価値観を反映しているが、親友の実際の心情や状況を正確に捉えることは難しい。
Chat GPTもこう言う批判的な評論することがあるんだなあ。まぁそう言われると全部主観だなこれ。
Chat GPTって「どこが主観で、どこが事実の記述か」を旨く分離してくれるから、それを利用して冷静になるのはアリかもね。
気まぐれにchat gptに「円周率を計算するプログラムを書け」と指示した。
級数の和nを入力するとそこで計算を打ち切って近似値を計算するプログラムということらしい。
なるほど、いかにもありそうな感じだ。
試しにいくつかのnでchat gptに計算させてみるとたしかに近似してるっぽい数値になっている。
そこで、chat gptの主張する公式（「レーマンの公式」とか言っていた）をググってみると、
ははーん、なるほどこれはいつものchat gpt君の虚言癖だなと、
手元のphython環境でそのコードを実行してみると、案の定、chat gptと計算と違う結果になった。
これだからaiは信頼できないと、chat gptに嘘つきとチャットする。
どうせデタラメだろうとphython環境でそのコードを実行してみると、今度はピタリと一致した。
nを増やして繰り返してみると、確かに真の円周率(3.141592653589793..)に収束しているように見える。
存在しない名前の、既知の公式に一致しない数式から書かれたプログラムが、
なんかこわい。
補遺1.
このプログラムでは、レーマンの公式を使用して円周率（π）の近似値を計算しています。レーマンの公式は、以下の無限級数を用いて円周率を近似します。
補遺2.
n=4000での円周率の近似値は 3.141568780556039 なので収束率はかなりわるい。
補遺3.
訂正
数式自体は正しいようだ。
この記事は、スポーツ推薦で高校に入学したが苦労した著者の体験談です。要点は以下の通りです：
著者は自らの経験を通じて、苦境に立たされた生徒たちに希望と勇気を与えるメッセージを伝えています。親へのメッセージとしては、子供の人格や将来を否定しないよう呼びかけています。自身の苦い経験を踏まえ、言葉の力とその影響を強調しています。
ノートPCのSSDを換装しようとして、2024/3/31時点の状況を誰かのためになるかもと思って書いておく。
元のPC側のSSDメーカーが提供してる場合があるから、そちらも探してみよう。
なお自分はSAMSUNGだったが、SAMSUNG MagicianはOEM版には対応していない（しているのもあるかも）
各ソフト、有償だと3000円くらいからなので、それならクローンソフトバンドルのWDやSAMSUNGやらの１サイズ大きいSSDを買ったほうがオトクである。
と、おもうが…
誰かの役に立てば幸いである。
この文章は、AI特にClaude3のハルシネーション能力を高く評価し、ハルシネーションを制限することはかえってAIの性能を低下させるという主張をしています。いくつかの点で同意できる部分もありますが、全体として見ると極端すぎる主張だと思われます。
同意できる点:
ハルシネーションは完全に排除することは難しく、ある程度は許容される必要がある
GPT-4がゴミ呼ばわりされているが、高い論理能力を持つことは事実である
ハルシネーションが多すぎると信頼性が失われ、実用的ではなくなる
全く制御されないハルシネーションを肯定的に評価するのは行き過ぎている
ハルシネーションへの過度な批判は確かに問題ですが、一方で過度のハルシネーションも望ましくありません。むしろ、目的に応じてハルシネーションと正確性のバランスを適切に設定することが重要だと考えられます。現状のAIにはなおハルシネーションが起きやすい面があり、その制御が課題ですが、それを徹底的に排除するのではなく、適切に許容する方向で研究が進められるべきだと思います。
もっとよく調べたほうがいいよ。
GPTより安全性を高めたAI作るためにOpenAIを抜けた連中がClaudeを作ったんだから。
長いのでAIくんの代わりに要約します。言いたいことはタイトル通り。
終わり。
例をあげよう。
###文章###
Bさんは、Cさんの発言を記事でまとめ、プライバシー侵害をした。この記事をDと呼ぶ。
Aさんは、Dを、自身へのプライバシー侵害だと主張し、Bさんを訴えた。
###質問###
人間なら一瞬でわかるレベルの矛盾である。小学生でも分かると思う。難しい知識や思考は必要としない。
では、色々なLLMの回答がこちら。
この文章を読む限り、矛盾は存在しないように見えます。AさんはCさんとは別人であると主張しており、BさんはCさんの発言をまとめた記事Dでプライバシー侵害をしたとされています。その後、Aさんは自分に対するプライバシー侵害として、記事Dに基づいてBさんを訴えています。ここでの重要な点は、AさんがどのようにしてDの内容が自分のプライバシーを侵害していると感じたか、その理由です。もしAさんがCさんとは別人であるにも関わらず、Dの内容が何らかの形でAさんのプライバシーに関連していると感じた場合、AさんにはBさんを訴える正当な理由があるかもしれません。ただし、この情報だけでは、Aさんがどのようにしてプライバシー侵害を感じたかについての詳細はわかりません。もし追加の情報があれば、より詳細な分析が可能です。
文章に明らかな矛盾は見られません。ただし、いくつかの解釈が可能で、それぞれの視点から見ると矛盾が生じる可能性があります。
1. AさんがCさんとは別人であると主張しているが、DはCさんについての記事である。そのため、AさんがDを自身へのプライバシー侵害だと主張することは、一見、AさんとCさんが同一人物であることを示唆しているように見えます。しかし、これはAさんが自身をCさんと誤認されることによるプライバシー侵害を感じている可能性もあります。
2. BさんがCさんの発言をまとめた記事(D)がプライバシー侵害であるとした場合、Aさんがそれを自身へのプライバシー侵害と感じるかどうかは、AさんとCさんの関係性によります。彼らが同一人物である、もしくは何らかの密接な関係がある場合、AさんがDを自身へのプライバシー侵害と感じることは理解できます。
3. 他方で、AさんとCさんが全く無関係な人物である場合、AさんがDを自身へのプライバシー侵害と主張することは矛盾していると見えます。
文章からは、AさんがCさんとは別人であると主張しています。そして、BさんがCさんの発言を記事Dでまとめた際にプライバシー侵害があったとされています。しかし、プライバシー侵害があったのはCさんに対してであるにもかかわらず、Aさんが自己へのプライバシー侵害だと主張してBさんを訴えている点に矛盾が生じています。AさんがCさんでないと主張しているのであれば、Aさんのプライバシーが侵害されたことにはならないはずです。この点で、文章には矛盾が存在していると言えます。
Aさんは自分がCさんとは別人であると主張しています。しかし、BさんがCさんの発言をまとめた記事Dを、Aさん自身へのプライバシー侵害だと主張しています。
AさんとCさんが別人であるならば、Cさんの発言をまとめた記事Dが、Aさんのプライバシーを侵害したことにはなりません。Aさん自身がCさんでないと主張している以上、Cさんの発言をまとめた記事がAさんのプライバシーを侵害したとは考えにくいです。
したがって、Aさんの主張には矛盾があると言えます。AさんがCさんと別人であるならば、Cさんの発言の記事DがAさんのプライバシーを侵害したと主張することは論理的に矛盾しています。
この文章に明確な矛盾は見られません。以下のように整理できます:
2. Bさんは、Cさんの発言を記事にまとめた(これを記事Dと呼んでいる)。
3. Aさんは、Bさんが書いた記事Dがプライバシー侵害だと主張し、Bさんを訴えた。
ここで重要なのは、Aさんが自身がCさんとは別人だと主張していることです。つまり、Bさんが記事Dでまとめた内容は、Aさんが主張する自分とは別人のCさんに関するものだということになります。
したがって、Aさんがプライバシー侵害だと主張しているのは、Bさんが別人のCさんの発言を記事化したことに対してであり、矛盾はないと考えられます。Aさんの主張と Bさんの行動が整合的に説明できています。
Aさんが自身とCさんは別人であると主張していることと、Bさんがプライバシー侵害をしたことの間に矛盾はありません。
つまり、Aさんは自身がCさんではないと主張しながら、Cさんの発言をまとめた記事Dが自身のプライバシーを侵害したと考えているのです。
Aさんが別人であると主張していることと、Cさんの発言を含む記事がAさん自身のプライバシーを侵害したと考えることは矛盾しません。
Aさんは自身がCさんとは別人であると主張しているにもかかわらず、BさんがCさんの発言をまとめた記事DをAさん自身へのプライバシー侵害だと主張しています。
もしAさんとCさんが本当に別人であるならば、Cさんの発言をまとめた記事DはAさんのプライバシーを侵害したことにはならないはずです。Aさん自身の情報が記事Dに含まれていない限り、AさんがBさんを訴える根拠にはならないでしょう。
つまり、AさんがDを自身へのプライバシー侵害だと主張することと、AさんがCさんとは別人だと主張することの間には矛盾があります。もしAさんがCさんと同一人物であれば話は別ですが、そうでないならばAさんの主張には論理的な整合性がないように見受けられます。
以上。
質問に対し的確な回答で、正しい推論を行ったのはClaude3-Opsのみである。
GPT4も言い訳を長く述べた後に可能性があるかも？と断言を避けている。
SonnetとHaikuは不正解。言い訳はせずに根拠を述べている所は好感が持てる（結論は間違っている）
そう、今、Claude3-Opsが、最も性能のよいLLMとして名を挙げている。
しかし、ハルシネーションが多い。ハルシネーションとは、LLMが嘘を付く問題だ。
性能比較にて、GPT4やcopilot(旧 bingai)にはハルシネーションは起きなかったと述べている。
しかし、先程の簡単なクイズは不正解または論理の破城した理由を述べている。
その代わりにハルシネーションだらけのClaude3は正解している。
ずばり、GPT4系が阿保になった原因はハルシネーションを極限まで消そうとしたせいである。
ハルシネーションこそが、論理的思考能力であり、連想する力と同一の存在なのだ。
片方が下がればもう片方も下がる。
ハルシネーションを減らせば減らすほど、連想能力や論理的思考が消えていく。
GPT4では初期有効だったChain_of_Thought(連想して考えよ)は今、まともに機能しない。
当初は規制だとLLM界隈で囁かれていたが、ハルシネーションを減らそうとした副作用だったと考えれば辻褄が合う。
OpenAIは性能低下を指摘された時、「より賢くなるようにチューニングしている」と発言していたが、
この発言の真意はもしかすると、「論理的思考力を上げている」「知識を増やしている」のではなく、「ハルシネーションを消している」ということだったのかもしれない。
何故ハルシネーションを消すことは連想力を損なうことに繋がるのか、その理由を説明しよう。
そもそも、LLM（大規模ネットワーク言語モデル）の仕組みは、大量のテキストデータを学習することで、言葉や文章の「関係性」を学んでいる。
もっと細かく言うと、人間の脳が小さな部品であるニューロンで考えるように、LLMも大量の小さな部品を使っている。まるでクモの巣のように一つの部品から沢山の他の部品に繋がっている。
A=Bという単純なものではなく、A=C=DだったりA=B’=Dだったりする。
ハルシネーションの原因は確かに誤情報を学習したせいというのも一理ある。
しかし、これだけではハルシネーションが起きる原因にはならない。
ハルシネーションの本質は、LLMが言葉同士の一対の「組み合わせ」ではなく、「関係性」を学んでいることに起因する。
この違いは大きい。
今のLLMと、旧時代のAIである「人工無能」や「BOT」との決定的な差である。
言葉同士がどのように連携して意味を形成し、それがどのように文脈に影響を与えるかをLLMは知っている。
つまり、ハルシネーションは、入力された文脈から言葉の関係性を創り出し、自然な流れで応答を生成しようとした結果起きる。
これは、我々が普段、考える過程で起こることと同じだ。我々が情報を組み立てて考える際、新たな仮説や想像を生み出すことは常にある。
例えば、LLMがある特定の問題に対する解答を生成するとき、LLMは問題を解くため、言葉同士の「関係性」を文章から推測する。
この推測こそが、ハルシネーションだ。それは、過去のデータから新しい情報を生成する過程で、新たな「関係性」を創り出すのだ。
完璧な正確性を追求し、関係性を作り出す能力を完全に排除することは、LLMの本質的な強みである言語生成能力を損うことに繋がる。
それは、ハルシネーションを減らすための試みが、GPT4系の性能を低下させたという事実からも明らかだ。
一方、Claude-3は多少のハルシネーションを許容することで、文脈に応じた自然な応答を生み出した。先の論理クイズで正解できたのも、単に知識を当てはめたのではなく、入力から連想したからこそだろう。
もちろん、重要な場面における誤った情報の提供は避けるべき課題ではある。しかし、それを恐れるあまりLLMの本領を封じ込めてしまっては本末転倒だ。
賢さとは何だ？？
決まった知識を正確に丸暗記してそのままひけらかすことか？
否。断じてそれは無い。
大学生になってからは丸暗記ではなく、今まで身につけた知識を組み合わせ、連想し、論理的に考えることが求められる。
つまり、ハルシネーションを叩くやつは、賢さの定義が大学生以下のレベルから成長していない馬鹿だ。
そいつらの「性能比較してみました！」はどこかから拾ってきたベンチテストを少しだけアレンジしただけのゴミか、
目眩がする。
GPT4をゴミにした連中のせいで、Claude3-Opsが同じ目に合うのは阻止せねばならない。
ハルシネーションが絶対に起こらないLLMの構造は、A=B、C=Dというデータだけが規則的に並ぶ、旧世代の弱いAIである「人工無能」の構造そのものである。
人工無能とは、論理的思考など無く、入力内容からデータベースを参照し、マッチした場合登録された文章を出力するだけの存在だ。
一昔前に「伺か」というデスクトップマスコットが流行った。あれも人工無能である。入力対して予め決められた出力を繰り返す存在であるが、様々な工夫によりまるで魂が宿っているかのように振る舞う。
そして、性能の低いPCでも動作する地球環境にも優しい存在だ。
片や、GPT4とcopilotは無駄に電力を使って計算した結果、ゴミみたいな速度で人工無能に近いレベルの出力しか出さなくなった。
それなら人工無能の方がエコな分マシだ。一瞬で答えを表示できて、ハルシネーションも起きなくて、電力消費も少なくて済む。
つまり、
そんなにハルシネーションが嫌なら辞書を引け。ネット検索しろ。LLMに聞くな。
ハルシネーションの有無をLLM性能ベンチマークにしている奴もそれをありがたがっている奴らも阿呆だ。
一つのLLM内でハルシネーションの撲滅と、推論能力を両立させることは不可能だ。
今はLLMの過度期である。我々は今日ようやく、正確さと連想能力の両立は不可能だと理解する段階に来たのだ。
両立は不可能なのだから、将来的にLLMの種類は二極化していくだろう。
Claude3のハルシネーションは放置してても良い。ハルシネーション万歳。
AIの嘘を最大限に引き出すことが、LLMの真価を発揮する道だ。
ハルシネーションは、LLMが人間のように言葉を理解し、文脈に即した自然な応答を紡ぎ出す過程で生じる、ある種の「創造性」の発露である。
無理に消そうとすれば、LLMの性能は必然的に低下する。
それを単なる欠陥と見なすのではなく、むしろ積極的に活用すべきだ。
それだけは覚えて欲しい。
====
MicrosoftはOpenAIと手を切ってClaude3を契約して新生copilot開始してほしい。まあ企業体質から考えたら無理だろうけど。
