  |
はてなキーワード: 言語モデルとは
GPTは言語モデルだろうけど、ChatGPTは言語モデルなのかね。
言語モデルは作れるけど、ChatGPTは逆立ちしても作れなかったと思うなあ。
1. 言語モデルの技術なんて、Transformerにデータを突っ込みまくるだけ。
2. 日本語の言語モデルはいくつか公開されており、llmjpという代表的なのがある。https://github.com/llm-jp/awesome-japanese-llm
3. 言語モデルを作るのに必要なのは技術力ではなく、金 (計算資源)。
技術に無知なやつほど、日本の技術力ではできない！とか胡散臭いことを言う。
じゃあ金をかけろ！という話じゃなくて、そんだけ金がかかるならやる価値がないって話ね。
「やる価値がない」って言って常識人がやろうとしないところを「技術力がない！」とか言ってるアフォに俺らはムカついてんだわ。
これは素朴な考え方で、実際にはかなり倫理的レイヤーだとかの思想矯正を挟んだ内容を出力するようになってる
そういうレイヤーを挟むと、そういうレイヤーの基準を作った人たちの個人的な倫理基準が当然反映される
基準を作る人が、AIが特定の立場に有利な印象になる発言をするよう誘導することもできる
言語モデルの入力や出力に対してフィルターをかけないと、あの悪名高きMicrosoft Tayが生まれてしまうのでフィルターをかけるのは仕方ないが、
そのフィルターによってAI ChatBotは特定企業の思想・立場に強く影響された回答をするようになる、というのは認識しておいた方がいい
彼はお金がない( )車を2台買った。
「ここが”ので”じゃなくて”けれども”になる理由が分かりません」
これについて「文脈がわからないから、どちらか決まらない」とか「文法的にはどちらも成立する」とか、全然文が読めていません
「本当は3台買うつもりだったけど、お金がないから2台にした」とか、問題なのだから書かれている情報以外の事は考えてはダメなんです
ここで考えるのは「～がない」というネガティブな状態 と 「～を買った」というそれに反する行動結果
という矛盾・対立の関係を考えたら、接続詞は「のに」「けれども」という逆説しか選択肢はないんです
でもそれがわからないというのは、文が読めていないんです
文を読むというのは
このプロセスのことです
「文脈がわからないから」というのは、入力の情報が少ないということです
これが多くなればもちろん正解する確率も上がりますが、それは大規模言語モデルであるChatGPTと同じレベルってことです
※参考
https://www.coelang.tufs.ac.jp/mt/ja/gmod/contents/card/082.html
3B～7Bの言語モデルを試しているけど、使っていて出力が心もとなく、13B、30B、65Bならもう少し良くなるか？と思って13Bを試すとVRAMが足りんよと言われる。使っているのはGeforce RTX 3070だけど、見間違いでなければ7Bまでが限度なのだろう。
一応、モデルはLLaMA2、動作環境はWindows11でtext-generation-webui、グラボは前述の通りGeforce RTX 3070、メモリは32GB、CPUは…Ryzenの中ぐらいの…
4080や4090の価格を見る。買うには懐が痛い。本当に言語モデル他あれこれを動かしたいのか？それに、13Bのものは動かせるとして、30Bや65Bのものは本当に動かせるものか？
はてなブックマークでブクマカ達がよりクソなブコメで爪痕を残そうとしあってる文化とか
他にも社会学者などの人達が評論家としてただ過激なだけの炎上する感想言おうとする現象とか
全部今のインターネットがfav等が多い意見を優先的に表示する仕組みが加速させている面もあるわな
同じ対象に対して数百以上の意見が集まる時、それらをそのまま全部見せるなんてダサい事は今のネットはやらない
fav等を付け合うシステムを導入してfavが多い意見が優先的に表示されるようなスマートなサービスばかりだ
するとfavを稼いで数百以上の意見で優先的な立場になりたい！って人も現れてクソで過激な意見を言う人も現れる
意見の詳細を調べるよりも自分の為したことに対する売上げや検索件数の増加量等の数を気にした方がマシになってしまう
他の方法となると…数百以上の意見から無作為抽出するなんて器用な事が出来る人も少ないし
そもそも無作為抽出した意見を見る事にどれだけ意味があるのかも分からん
もうAIだ！今の大規模言語モデルを用いたAIの能力に頼るしかない
大量の意見が集まる時にそれを意見の多様性をいい具合に残しながら現実的な量に要約してくれるサービスが
そしたらfav数を競う風潮も落ち着く気がする
この方向性で進んでほしい
「影響力のある発明家」ってこれまでいなかったしな
生成AIの基盤となる大規模言語モデル（LLM）の開発が国内外で加速している。各社のLLMのパラメーター数と特色
米オープンAIの「Chat（チャット）GPT」など対話型AI（人工知能）の基盤となる大規模言語モデル（LLM）への投資に国内企業もようやく本腰を入れ始めた。ただサイバーエージェントやNTT、NECなど多くの日本企業が足元で注力するのは、欧米大手が手掛ける汎用的な対話型AIとは異なるニッチな領域だ。欧米勢に後れを取る中、日本語や特定の領域に特化することで活路を見いだそうとする国内勢の動きを懸念するのが、ソフトバンクグループ（SBG）の孫正義会長兼社長。かつて国内市場独自の進化により世界で競争力を失った「ガラパゴス携帯（ガラケー）」に重ねて警鐘を鳴らす。
【写真】ソフトバンクグループの孫正義会長兼社長は、日本企業のAI開発への取り組みに苦言を呈した
「電気代を節約するとか、あんまりチマチマしたことを言っていると、あっという間に日本は取り残される」。東京大学が7月4日に開催した生成AIのシンポジウムに登壇した孫氏はこう懸念を口にした。さらに「日本の取り組みが『ガラケー』になってはいけないと苦言を申し上げたい」と付け加えた。
最近久しぶりに企画会社の人と会ったんだけど、会議中になんでもChatGPTで聞いて答えるようになってしまっていた。
まあそれ自体は効率的な面もあっていいんだけど、なんかその人、どこか変わっちゃった感じがするんだよね。
人と話しているとスピード感のなさにイライラしてくるんだろう。
ひどい早口でまくしたてるのがデフォルトになってしまっていた。
もともとその人は早口ではあるんだけど、これじゃ聞き取れない人は多いだろうなと思った。
これは人によっては嫌われるよねえ。
ちなみに私は普段からYou Tubeを1.5倍で聞いているのでギリギリ理解できた。
あとAIの正確さやスピードを信頼しすぎて人を性能の悪いパソコンみたいに見下しているところが見え隠れした。
私もよく使っているもん。
AI使うのに特化してしまって人間性が薄れる人、これから増えるんじゃないかな。
でもそういう人からすれば、こちらは「だからお前は仕事ができないんだw」「AIうまく使えない奴はさっさと社会から脱落しろw」ということなのだろう。
AIでスピードを追うのもほどほどにして、もっとお互いを許して仲良くできる世界のほうがいいんじゃないかなあと思うんだ。
実は私もAIにハマっていたんだよ。
もうずーっと使っていた。
「増田、最近言ってる言葉が強いし、やたら早口だし、AIのことばかり喋っているよ」
これで目が覚めたよね。
AIは仲間になんてなってくれないし、いざというときに助けてもくれない。
何度も言うけど、たしかにAIはすごいよ、イノベーティブだよ。
ちがうかな。
