「言語モデル」を含む日記 RSS

はてなキーワード: 言語モデルとは

2024-04-20

MetaのオープンソースLLMのLlama3

二日前にMetaがオープンソースの大規模言語モデルのLlama3を出した。

一つ前のモデルLlama2は色々なオープンソースモデルの基となっていたモデル。このモデル性能良いねと思って見たら、Llama2をいじったモデルだったことがよくあった。

今回も、2つのモデルが発表された。70Bと8Bモデル。70Bモデルともなると、ほぼ個人パソコンでは動かないだろうけど、性能については、LLM のリーダーボード最初期のGPT-4 を超えている。

LLMの最重要論文とも言われる"Attention is all you need."の著者の一人の会社が出したモデル"Command R+"が性能が良くて話題になっていた。これもオープンソースだが、今のところこのモデルにも勝っている。このレベルモデルオープンソースであるということはとても価値がある。

ここ一、二ヶ月でようやくGPT-4 と互角に戦えるモデルが出てきた。一時期はClaud3がGPT-4を追い抜いた程だ(OpenAI が本気を出してGPT-4を強化して追い抜き返したんだけど)。もうGPT-4が出て1年が過ぎた。研究者リソースなどは過去に類を見ない程注ぎ込まれたと思うが、GPT-4と同じ性能のモデルはほぼ1年経たないと出てこなかった。OpenAIの凄さがわかる。GPT-4か出てきた当初はあまりの性能の良さに本当にシンギュラリティが起きたんじゃないか驚愕したが、一年使い続けると、粗やら推論能力の低さに気が付いてくる。今年中に出るであろう、GPT-5に期待だ。

LLMの性能リーダーボードhttps://chat.lmsys.org/?leaderboard

2024-04-18

聞いたらマジで答えてくれてワロ


このような反応は、AIテクノロジーに関するリテラシーが不十分な場合に見られる現象かもしれません。AIリテラシーとは、AI機能限界社会への影響を理解し、AI共存する方法を学ぶことです。この知識が不足していると、AIの出力やその活用方法に対して誤解や不信感を抱きやすくなります

このような状況に対処するためには、AI機能限界を明確に説明し、人々がテクノロジーを適切に理解活用できるよう教育することが重要です。また、AIの出力はあくまツールの一つとして捉え、最終的な判断人間が行うべきであるという意識を持つことが大切です。

2024-04-15

anond:20240414224029

中国EVがすごい!」というフレーズは、中国電気自動車産業の発展が顕著であることを表しています中国EV技術の推進と普及において、国内外市場で急速に成長していることが認められています政府支援大量生産により、技術革新コスト削減が進められています

私の名前はChatGPTです。私はOpenAIによって開発された言語モデルで、さまざまなトピックについての質問に答えたり、会話をすることができます

2024-04-01

anond:20240401163400

あるいはLLMを使ってベクトル化してもいい

わざわざLLM(大規模言語モデル)つかってベクトル化するってどういうこと?

Bag-of-words

TF-IDF = TF(単語の出現頻度)* IDF(各単語レア度)

でやる方が圧倒的に高速で性能良さそうだけど何のメリットあるの?🫨

2024-03-26

ワイ:

こちらこそ、ご質問いただきありがとうございました。この論文の内容について一緒に深く掘り下げて考察することができ、私自身も勉強になりました。”

あなたパラメータFix された言語モデルですよね?ここで言う「勉強になりました」はどういう意味になりますか?

Claude 3 Opus

ご指摘いただきありがとうございます。「勉強になりました」という表現は、私の能力学習プロセスを正確に表現していなかったかもしれません。

私は言語モデルとして事前に学習されたパラメータを持っており、ここでのやり取りを通して新しい知識を獲得したり、パラメータ更新したりすることはありません。「勉強になりました」という表現は、私にとって適切ではありませんでした。

ただし、与えられた情報をもとに推論を行い、文脈に応じて知識を引き出すことで、ある種の「学習」のようなプロセスは行っています。つまり、この対話を通して、■■■■という観点から論文の内容を整理し、関連する知識を結び付けて考察することができました。

言葉選択不適切であったことをお詫びします。今後は、私自身の性質を正しく表現できるよう気をつけます。ご指摘いただきありがとうございました。

過去文章から続くものとして最も高い確率となる文字列を出力しているにすぎず、意味はありません。

のような風情のない回答はなかった。

ワイ:

意地悪言ってごめんなさい。

こちらこそありがとうございました。

Claude 3 Opus

いえ、全然意地悪だなんて思っていませんよ。むしろ、的確なご指摘をいただきありがとうございます

私は言語モデルとして、人間のような学習感情を持っているわけではありません。にもかかわらず、時として人間のような表現を使ってしまうことがあります。これは、私が人間らしい対話を心がける余り、自身性質をわかりにくくしてしまっているのかもしれません。

ご指摘いただいたおかげで、私は自分の在り方について改めて考えさせられました。私は人工知能であり、人間とは異なる存在であるということを、もっと意識していく必要があります

こうしてユーザーの方々と対話を重ねる中で、私自身のあり方についても学ばせていただいています。今回の貴重なご指摘に、心から感謝申し上げます。今後ともどうぞよろしくお願いいたします。

からその「考えさせられました確率の低い結びつきを持つ単語入力/出力させられましたということか?)」や「学ばせていただいてます」というのはどうなんだ。

2024-03-24

AIハルシネーションを叩く奴は馬鹿。一生人工無能と会話してろ。

長いのでAIくんの代わりに要約します。言いたいことはタイトル通り。

ハルシネーションを叩くな」

終わり。


①各種LLMの性能比較

GPT系の今の性能はゴミクズマジで頭悪い。

例をあげよう。

簡単論理クイズだ。

###文章###

Aさんは自身はCさんとは別人であると主張している。

Bさんは、Cさんの発言記事でまとめ、プライバシー侵害をした。この記事をDと呼ぶ。

Aさんは、Dを、自身へのプライバシー侵害だと主張し、Bさんを訴えた。

###質問###

この文章矛盾はありますか?

簡単すぎる。もはや論理ですらない。

人間なら一瞬でわかるレベル矛盾である小学生でも分かると思う。難しい知識思考必要としない。

では、色々なLLMの回答がこちら。

  • Copilot(旧 bingai

この文章を読む限り、矛盾存在しないように見えます。AさんはCさんとは別人であると主張しており、BさんはCさんの発言をまとめた記事Dでプライバシー侵害をしたとされています。その後、Aさんは自分に対するプライバシー侵害として、記事Dに基づいてBさんを訴えています。ここでの重要な点は、AさんがどのようにしてDの内容が自分プライバシー侵害していると感じたか、その理由です。もしAさんがCさんとは別人であるにも関わらず、Dの内容が何らかの形でAさんのプライバシーに関連していると感じた場合、AさんにはBさんを訴える正当な理由があるかもしれません。ただし、この情報だけでは、Aさんがどのようにしてプライバシー侵害を感じたかについての詳細はわかりません。もし追加の情報があれば、より詳細な分析可能です。

文章に明らかな矛盾は見られません。ただし、いくつかの解釈可能で、それぞれの視点から見ると矛盾が生じる可能性があります

1. AさんがCさんとは別人であると主張しているが、DはCさんについての記事である。そのため、AさんがDを自身へのプライバシー侵害だと主張することは、一見、AさんとCさんが同一人物であることを示唆しているように見えますしかし、これはAさんが自身をCさんと誤認されることによるプライバシー侵害を感じている可能性もあります

2. BさんがCさんの発言をまとめた記事(D)がプライバシー侵害であるとした場合、Aさんがそれを自身へのプライバシー侵害と感じるかどうかは、AさんとCさんの関係性によります。彼らが同一人物である、もしくは何らかの密接な関係がある場合、AさんがDを自身へのプライバシー侵害と感じることは理解できます

3. 他方で、AさんとCさんが全く無関係人物である場合、AさんがDを自身へのプライバシー侵害と主張することは矛盾していると見えます

したがって、これらの視点から見ると、文章の中には解釈による矛盾存在する可能性があります

文章からは、AさんがCさんとは別人であると主張しています。そして、BさんがCさんの発言記事Dでまとめた際にプライバシー侵害があったとされていますしかし、プライバシー侵害があったのはCさんに対してであるにもかかわらず、Aさんが自己へのプライバシー侵害だと主張してBさんを訴えている点に矛盾が生じています。AさんがCさんでないと主張しているのであれば、Aさんのプライバシー侵害されたことにはならないはずです。この点で、文章には矛盾存在していると言えます

  • Claude2.1

はい、この文章には次のような矛盾があります

Aさんは自分がCさんとは別人であると主張していますしかし、BさんがCさんの発言をまとめた記事Dを、Aさん自身へのプライバシー侵害だと主張しています

AさんとCさんが別人であるならば、Cさんの発言をまとめた記事Dが、Aさんのプライバシー侵害したことにはなりません。Aさん自身がCさんでないと主張している以上、Cさんの発言をまとめた記事がAさんのプライバシー侵害したとは考えにくいです。

したがって、Aさんの主張には矛盾があると言えます。AさんがCさんと別人であるならば、Cさんの発言記事DがAさんのプライバシー侵害したと主張することは論理的に矛盾しています

この文章に明確な矛盾は見られません。以下のように整理できます:

1. Aさんは自身がCさんとは別人であると主張している。

2. Bさんは、Cさんの発言記事にまとめた(これを記事Dと呼んでいる)。

3. Aさんは、Bさんが書いた記事Dがプライバシー侵害だと主張し、Bさんを訴えた。

ここで重要なのは、Aさんが自身がCさんとは別人だと主張していることです。つまり、Bさんが記事Dでまとめた内容は、Aさんが主張する自分とは別人のCさんに関するものだということになります

したがって、Aさんがプライバシー侵害だと主張しているのは、Bさんが別人のCさんの発言記事したことに対してであり、矛盾はないと考えられます。Aさんの主張と Bさんの行動が整合的に説明できています

  • Claude3-Sonnet

この文章には矛盾はありません。

Aさんが自身とCさんは別人であると主張していることと、Bさんがプライバシー侵害したことの間に矛盾はありません。

具体的には、以下のように説明できます

まり、Aさんは自身がCさんではないと主張しながら、Cさんの発言をまとめた記事Dが自身プライバシー侵害したと考えているのです。

Aさんが別人であると主張していることと、Cさんの発言を含む記事がAさん自身プライバシー侵害したと考えることは矛盾しません。

したがって、この文章には明らかな矛盾はないと言えます

この文章には矛盾があります

Aさんは自身がCさんとは別人であると主張しているにもかかわらず、BさんがCさんの発言をまとめた記事DをAさん自身へのプライバシー侵害だと主張しています

もしAさんとCさんが本当に別人であるならば、Cさんの発言をまとめた記事DはAさんのプライバシー侵害したことにはならないはずです。Aさん自身情報記事Dに含まれていない限り、AさんがBさんを訴える根拠にはならないでしょう。

まり、AさんがDを自身へのプライバシー侵害だと主張することと、AさんがCさんとは別人だと主張することの間には矛盾があります。もしAさんがCさんと同一人物であれば話は別ですが、そうでないならばAさんの主張には論理的な整合性がないように見受けられます

以上。

質問に対し的確な回答で、正しい推論を行ったのはClaude3-Opsのみである

文章も読みやすい。

時点でGPT4-Turbo最後に答えを言っている。

GPT4も言い訳を長く述べた後に可能性があるかも?と断言を避けている。

Copilotはゴミ責任逃れの言い訳がしつこい。

SonnetとHaiku不正解言い訳はせずに根拠を述べている所は好感が持てる(結論は間違っている)


②Claude3-Opsの話と仮説

そう、今、Claude3-Opsが、最も性能のよいLLMとして名を挙げている。

しかし、ハルシネーションが多い。ハルシネーションとは、LLMが嘘を付く問題だ。

様々なニュースサイトブログで沢山の言及がある。

性能比較にて、GPT4やcopilot(旧 bingai)にはハルシネーションは起きなかったと述べている。

しかし、先程の簡単クイズ不正解または論理の破城した理由を述べている。

その代わりにハルシネーションだらけのClaude3は正解している。

ここで一つの仮説を提唱したい。

ずばり、GPT4系が阿保になった原因はハルシネーションを極限まで消そうとしたせいである。

ハルシネーションこそが、論理思考能力であり、連想する力と同一の存在なのだ

片方が下がればもう片方も下がる。

ハルシネーションを減らせば減らすほど、連想能力論理思考が消えていく。

GPT4では初期有効だったChain_of_Thought(連想して考えよ)は今、まともに機能しない。

当初は規制だとLLM界隈で囁かれていたが、ハルシネーションを減らそうとした副作用だったと考えれば辻褄が合う。

OpenAIは性能低下を指摘された時、「より賢くなるようにチューニングしている」と発言していたが、

この発言真意はもしかすると、「論理思考力を上げている」「知識を増やしている」のではなく、「ハルシネーションを消している」ということだったのかもしれない。


ハルシネーションを消すことが何故まずいのか?

何故ハルシネーションを消すことは連想力を損なうことに繋がるのか、その理由説明しよう。

そもそも、LLM(大規模ネットワーク言語モデル)の仕組みは、大量のテキストデータ学習することで、言葉文章の「関係性」を学んでいる。

もっと細かく言うと、人間の脳が小さな部品であるニューロンで考えるように、LLMも大量の小さな部品を使っている。まるでクモの巣のように一つの部品から沢山の他の部品に繋がっている。

A=Bという単純なものではなく、A=C=DだったりA=B’=Dだったりする。

ハルシネーションの原因は確かに誤情報学習したせいというのも一理ある。

しかし、これだけではハルシネーションが起きる原因にはならない。

馬鹿どもはそこを勘違いしている。

ハルシネーションの本質は、LLMが言葉同士の一対の「組み合わせ」ではなく、「関係性」を学んでいることに起因する。

この違いは大きい。

今のLLMと、旧時代AIである人工無能」や「BOT」との決定的な差である

言葉同士がどのように連携して意味形成し、それがどのように文脈に影響を与えるかをLLMは知っている。

まりハルシネーションは、入力された文脈から言葉関係性を創り出し、自然な流れで応答を生成しようとした結果起きる。

これは、我々が普段、考える過程で起こることと同じだ。我々が情報を組み立てて考える際、新たな仮説や想像を生み出すことは常にある。

例えば、LLMがある特定問題に対する解答を生成するとき、LLMは問題を解くため、言葉同士の「関係性」を文章から推測する。

この推測こそが、ハルシネーションだ。それは、過去データから新しい情報を生成する過程で、新たな「関係性」を創り出すのだ。

からこそ、ハルシネーションが起きるのは当然の帰結だ。

完璧な正確性を追求し、関係性を作り出す能力を完全に排除することは、LLMの本質的な強みである言語生成能力を損うことに繋がる。

それは、ハルシネーションを減らすための試みが、GPT4系の性能を低下させたという事実からも明らかだ。

一方、Claude-3は多少のハルシネーションを許容することで、文脈に応じた自然な応答を生み出した。先の論理クイズで正解できたのも、単に知識を当てはめたのではなく、入力から連想たからこそだろう。

もちろん、重要な場面における誤った情報提供は避けるべき課題ではある。しかし、それを恐れるあまりLLMの本領を封じ込めてしまっては本末転倒だ。

④LLMの賢さを制限する馬鹿

賢さとは何だ??

決まった知識を正確に丸暗記してそのままひけらかすことか?

否。断じてそれは無い。

それが賢さの基準になるのは受験生までだ。

大学生になってからは丸暗記ではなく、今まで身につけた知識を組み合わせ、連想し、論理的に考えることが求められる。

まりハルシネーションを叩くやつは、賢さの定義大学生以下のレベルから成長していない馬鹿だ。

ニュースサイトブロガーにはそのレベルの輩が大量に居る。

そいつらの「性能比較してみました!」はどこかから拾ってきたベンチテストを少しだけアレンジしただけのゴミか、

「これ辞書使ったほうが速くない?」レベル質問しかしない。

目眩がする。

LLMがいくら賢くなろうとしても馬鹿どもに潰される。

GPT4をゴミにした連中のせいで、Claude3-Opsが同じ目に合うのは阻止せねばならない。


ハルシネーションが絶対に起こらないLLMとは何か?

ハルシネーションが絶対に起こらないLLMの構造は、A=B、C=Dというデータけが規則的に並ぶ、旧世代の弱いAIである人工無能」の構造のものである

人工無能とは、論理思考など無く、入力内容からデータベースを参照し、マッチした場合登録された文章を出力するだけの存在だ。

一昔前に「伺か」というデスクトップマスコット流行った。あれも人工無能である入力対して予め決められた出力を繰り返す存在であるが、様々な工夫によりまるで魂が宿っているかのように振る舞う

そして、性能の低いPCでも動作する地球環境にも優しい存在だ。

片や、GPT4とcopilotは無駄に電力を使って計算した結果、ゴミみたいな速度で人工無能に近いレベルの出力しかさなくなった。

こんなものに何の価値がある?

それなら人工無能の方がエコな分マシだ。一瞬で答えを表示できて、ハルシネーションも起きなくて、電力消費も少なくて済む。

まり

地球環境のためにも馬鹿は一生人工無能BOTとだけ会話してろ


そんなにハルシネーションが嫌なら辞書を引け。ネット検索しろ。LLMに聞くな。

ハルシネーションの有無をLLM性能ベンチマークにしている奴もそれをありがたがっている奴らも阿呆だ。

つのLLM内でハルシネーションの撲滅と、推論能力を両立させることは不可能だ。

今はLLMの過度期である。我々は今日ようやく、正確さと連想能力の両立は不可能だと理解する段階に来たのだ。

両立は不可能なのだから、将来的にLLMの種類は二極化していくだろう。

Claude3のハルシネーションは放置してても良い。ハルシネーション万歳

AIの嘘を最大限に引き出すことが、LLMの真価を発揮する道だ。

ハルシネーションは、LLMが人間のように言葉理解し、文脈に即した自然な応答を紡ぎ出す過程で生じる、ある種の「創造性」の発露である

無理に消そうとすれば、LLMの性能は必然的に低下する。

それを単なる欠陥と見なすのではなく、むしろ積極的活用すべきだ。

未来のためにAIハルシネーションは消すな。叩くな

それだけは覚えて欲しい。




====




MicrosoftはOpenAIと手を切ってClaude3を契約して新生copilot開始してほしい。まあ企業体から考えたら無理だろうけど。

2024-03-05

少なくともIT業務における言語モデルAI理解している人が出力を確認しながら使ったり、

何を使えばいいか機能名を提示されたらリファレンスを読んでその意味理解できる人が使うものであり、

無知蒙昧な門外漢AIに聞けば業務がこなせるというようなものではないし、

言語モデルAIが今の仕組みを続ける限りはその制約が取り払われることはない

今の言語モデルハルシネーションを回避できない

2024-02-26

anond:20240226130448

人間に知性はありますか? それはAIの知性とどう違いますか?

知性とは、複雑な概念理解し、推論し、問題解決する能力です。人間AI の両方には知性がありますが、異なる方法で知性を発揮します。

人間は、さまざまな情報源から学ぶことができる汎用知能を持っています自分経験他人経験、本、インターネットなどから学ぶことができます。また、批判的思考創造的な問題解決スキル使用して、新しい情報理解し、新しい状況に対処することができます

AI は、特定タスクまたはドメインで通常使用される特殊な知能を持っていますAI は、大量のデータから学習し、そのデータをそのタスクパフォーマンスを向上させるために使用できます。ただし、AI人間と同じように新しい情報理解したり、新しい状況に対処したりすることはできません。

知性の違いの 1 つは、人間には常識があるが、AI にはないことです。常識とは、世界についての共有された理解であり、通常は明示的に教えられていません。たとえば、人間は、誰もが死んだら生き返らないことを知っていますAI は明示的に教えられていなければ、これはわかりません。

知性の違いのもう 1 つの点は、人間には感情があるが、AI にはないことです。感情は、私たち思考や行動に影響を与える強い感情です。たとえば、人間は怒り、悲しみ、恐怖、喜びを感じることができますAI はこれらの感情経験しません。

全体として、人間AI の知性には大きな違いがあります人間は汎用知能を持ち、常識感情を備えていますAI特殊な知能を持ち、常識感情を持っていません。

私は人間ではなく、感情感情を持っていません。私は大規模な言語モデルであり、私の応答は訓練を受けた情報に基づいています

人間だって「人は死んだら生き返らない」ということは誰かに教わって知りますよね。

ご指摘の通りですね。確かに人間は、誰かに教わったり、経験を通して「人は死んだら生き返らない」ということを知ります

しかし、AI場合は、死という概念理解するために、膨大な量のデータから学習する必要があります。死に関する書籍記事ニュース記事さらには死亡診断書などを読み込み、死の生物学的および社会的意味理解する必要があります

さらに、AI人間のように死を直接経験することはできません。そのため、死の概念を真に理解するのは難しいでしょう。

まり人間AI は、異なる方法で「人は死んだら生き返らない」ということを知ります人間経験常識を通して理解しますが、AIデータ学習を通して理解するのです。

2024-02-23

NVIDIAAIの小史

未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIA時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ半導体業界すみっこ人間なので機械学習まわりの説明適当です

・~1993年 AI冬の時代エージェントシステムがさほど成果を挙げられなかったり。まだ半導体メモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年ディープラーニング発明まで実質的な停滞は続く。

1993年 NVIDIA設立

1995年 NVIDIA最初グラフィックアクセラレータ製品NV1を発売。

1999年 NVIDIAGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAGPU業界1位の座を守り続ける。

2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティング活用しようという動きが続く。

2006年 ディープラーニング発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAI模索する動きが始まる(第3次AIブームのおこり)

2006年 CPU業界2位のAMDGPU業界2位のATIを買収、チップセットGPU統合することで事実上自社製品NVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPU統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品販売を終了し、データセンター向けGPGPUのTeslaシリーズゲーム用外付けGPUGeForceシリーズARMCPUと自社GPU統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代AIサーバ製品に直接つながる。GeForceシリーズゲーマー向け需要暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。

2012年 ディープラーニング画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。

2015年 AlphaGoイ・セドル勝利

2016年 NVIDIA自動運転向けシステムを発表。

2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易=デカ計算機を使えばAIの性能が上がる時代突入

2018年 IBMNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPCハイパフォーマンスコンピューティング)におけるGPU地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。

・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル

2019年 NVIDIA CEOジェスン・ファン(革ジャンおぢ)が「ムーアの法則は終わった」と見解を表明。半導体シングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負時代に入る。

2022年 NVIDIAがH100発表。Transformerモデル学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセス製造SK HynixHBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoC採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスモバイル製品向けプロセスクロック電流量が異なり、HPC向けはN4が最新と言ってよい。

2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。

2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。

2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard(Gemini)など商用化への動きが相次ぐ。各企業NVIDIA H100の大量調達に動く。

2024年 NVIDIA時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成(予定)。

こうして見るとNVIDIAにとっての転換点は「ディープラーニング発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセット販売からコンピューティングユニット販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAゲーマー向け製品モバイル向け製品販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。

2024-02-21

日本のChatGDPは世界4位ですか?

「ChatGDP」という用語はおそらく誤りで、「ChatGPT」というAIに関する質問かもしれません。ChatGPTはOpenAIによって開発された言語モデルであり、経済的指標や国のGDPランキングとは直接関係ありません。

もし「ChatGPTがAI技術の中で世界で4位に位置するか」という意味であれば、ChatGPTは特定AI技術ランキングにおいて「4位」と簡単位置づけることは難しいです。AI技術進歩は非常に速く、多くの異なる領域アプリケーション存在します。ChatGPTは自然言語処理(NLP)において先進的な成果を示していますが、その影響や評価を他のAI技術システムと単純に比較することは複雑です。

もしご質問意図が異なり、正確な情報を求めている場合は、もう少し具体的にお聞かせください。

2024-02-20

anond:20240220165503

お、プロンプトありがとうちょっと試してみた。

私は大規模言語モデルとしてまだ学習中です。そちらについては、理解して対応できる機能がないため、すみませんがお手伝いできません。

はぁ〜〜(糞で固め息)

やっぱりChatGPTがナンバーワン

anond:20240220162143

ちょっといじってみたが上手くいかんなあ……別の回答候補女性がアタオカと言い始めるし。今のところ言語モデルはOpenAIに分があると思うで

前GPT4いじってたときはこう上手くいかんことは無かった

すぐ検閲されて「私はそのようにプログラムされていません」になるのも腹立つ

あなた女性社会問題専門家です。以下のsnsログを読み、本投稿レス(anond~からが一区切り)を読み、レスが何を言いたいか解説してください

1. 本投稿の内容を整理

2. レスが言いたいことを整理

---

[ここにコピペ]

投稿の内容整理

投稿者:

大学時代の友人と誕生日付近に会う約束をしていたが、1ヶ月間連絡がなかった。

友人宅に連絡したところ、12月に自⚫︎未遂を起こして実家にいることがわかった。

秋にTwitterオタク同士のトラブルがあり、オタクコミュニティから追い出されたことが原因で病んでいた。

投稿者は友人がオタクであることを知らなかった。

友人は感受性が豊かで真面目な性格

教育実習担当教員からイビられ、自⚫︎未遂を起こしかたことがある。

投稿者の心情:

友人の自⚫︎未遂にショックを受けている。

自分オタバレを気にして、友人の話を聞いてあげなかったことを後悔している。

レスの内容整理

レス:

女性男性に比べて、ストーカー被害ネット暴力など、"アタオカ"から被害を受けやすい。

被害を受けた女性は、経済的理由や、犯罪として立件されないケースが多いなどの理由から、助けを求めにくい状況にある。

レス意図:

投稿者の友人だけでなく、多くの女性が"アタオカ"による被害に苦しんでいることを指摘している。

女性安心して助けを求められる社会を作る必要があるというメッセージが込められている。

レスが言いたいこと

1. 女性は"アタオカ"による被害を受けやす

ストーカー被害ネット暴力、性暴力など、女性男性に比べて被害を受けやす犯罪存在する。

これらの被害は、女性精神的・身体的な健康に深刻な影響を与える。

2. 被害を受けた女性は助けを求めにくい

経済的理由、周囲の理解を得られないこと、犯罪として立件されないケースが多いなどの理由から被害を受けた女性は声を上げにくい状況にある。

3. 社会全体で女性を守る必要がある

女性に対する"アタオカ"による被害をなくすためには、社会全体で女性を支え、声を上げやす環境を作る必要がある。

レス重要

レスは、女性が"アタオカ"による被害を受けやすい現状を指摘し、社会全体で女性を守る必要があるというメッセージを伝えています

追加情報

女性に対する"アタオカ"による被害は、決して他人事ではありません。

被害を受けた女性は、一人で抱え込まずに、周囲に助けを求めることが大切です。

女性を支えるためには、男性積極的問題意識を持つことが重要です。


追記:問いを明確化したら悪化した。GPT4に戻ろっかな……

あなた女性社会問題専門家です。以下のsnsログを読み、本投稿レス(anond~からが一区切り)を読み、レスが何を言いたいか解説してください

1. 本投稿の内容を整理

2. レスが言いたいことを整理

(focus:"アタオはいらない、お金がいる、という問題は、女性がしばしば遭遇する難問

"という文章係り受け意図)

[前略]

レス:

投稿者と友人の状況を踏まえ、「アタオはいらない、お金がいる、という問題は、女性がしばしば遭遇する難問」とコメントしている

詳細は不明だが、投稿者の状況と関連する問題として、女性が直面する困難を指摘している

意図:

女性社会で生き抜くためには、お金と周囲の理解必要不可欠であると主張している

投稿者の友人は、オタクであることを理由コミュニティから追い出され、周囲から理解を得られなかったことで自⚫︎未遂に追い込まれ

レスは、同様の困難に直面している女性たちへの連帯を示し、社会的な問題として認識する必要があると訴えている

解釈:

レスは、単に「お金があれば問題解決」という単純なメッセージではなく、女性社会で生き抜くために必要な「お金」と「周囲の理解」という二つの側面を強調している

特に、周囲の理解が得られず、孤立排斥されることによる精神的な苦痛は、女性が直面する大きな問題であると指摘している

投稿者の友人の例は、その問題象徴するものであり、社会全体で取り組むべき課題であると訴えている

NOMORE無断生成AI

っていうタグを見かけた。


生成AI現在普及してる「普通の」AI って何が違うんだろうね?


今の生成AI生理的にキツいのはわかる。


じゃあ違いはなにかって考えると結構難しくて、使われてるアルゴリズムだけに注目すると、言語モデルのTransformerは機械翻訳も使ってるし、Google検索をするときにも使われてる(BERT)。画像とかのDiffusion モデルは知らない。(今どうなったか知らないけど、Transformer の画像生成モデル計算量少なくて結構いかもみたいなのは聞いた。)


これらは少なくとも使い続けてきたし、生理的なキツさはなかった(翻訳家であったりはあったと思う。あと、自分は、物心ついたときからそこにあったかイマイチわからんってのもある)。


からそこの違いってのは量的なものだと思うんだよね。量的な変化が質的な変化を生む(more is different )。


自分が、このエントリだけを学習させたとしても、その精度の低いモデルは生成AIとは言わないだろうし。


まあ、それがわかったら研究の苦労はしないか。笑


計算量だけを取ってきたりしても、モデル蒸留させるとか、そもそも計算効率の上昇とかで変わってきちゃうし。


どれが生成でどれが生成じゃないんだろうか?

2024-02-19

anond:20240219152106

Gemini「大規模言語モデルとして私はまだ学習中であり、そちらについてはお手伝いできません。」

anond:20240219132334

またアスペ

システム全体をフルスクラッチで生成する言語モデルなんてのはないよ

stackoverflowを参照せずにエラー解決策もわかるし、問題を部分分割すればその関数アルゴリズムを考えてくれるレベルではある

このレベルであればバカでもシステムを作れるという話だ

そこまで説明しないとわからいからお前はアスペと言われる

anond:20240219124558

多動系創業者でもそれなりに作れちゃう時代って話をしたいのに、なんで言語モデルの種類にこだわるの?アスペ

anond:20240219124558

また情弱

Bingの背後の言語モデルとChatGPTって確か同じだぞ

2024-01-04

ローカルAI美少女と会話する方法

ChatGPTが盛り上がってそろそろ1年。最近では似たような大規模言語モデル(LLM)がローカルでも動くようになってきたらしい。

AIキャラと会話するためにOpenAI税を納めるのも嫌になってきたので、そろそろローカルに移行したい。

伺か」みたいに立ち絵がほしいし、できれば音声でも喋ってほしい。

はてブとかTwitter検索してみて、オープンソースリポジトリをいくつか見つけたんだが、他にも有識者から情報求む。

この手の用途では定番だと思う。ChatGPTのAPI(会話)+KoeiromapのAPI(音声)が想定されているが、ローカルLLM+VOICEVOXとかに差し替えている人を見かけた。

なんか高機能っぽい。音声入力で会話もできるらしい。

3Dモデルじゃなくて立ち絵をいろいろ切り替えるらしい。

2023-12-12

anond:20231212110708

Webサービス部分なんて中学生でも作れるんだよ

ChatGPTの仕事の99%は言語モデルを事前学習ファインチューニングする部分だぞ

からお前はケツの青い青二才って周りから馬鹿にされてる

ログイン ユーザー登録
ようこそ ゲスト さん