  |
はてなキーワード: 言語モデルとは
結構アレだなぁ、と思う日記があったのでちょっとツッコミをしてみる。
私は2桁年ほど漫画やイラストに携わって細々と生活しているクリエイターの端くれだが、正直言ってこの1ヶ月の絵描き界隈の道化っぷりにはひたすら「呆れ返る」以外の感想が持てない。
↑Xの話をしていると思うのだけど、「絵描き界隈」と主語を大きくしているように思う。まあ、Xが絵かきにとって一番大きなコミュニティとは思うけれど。
「11/15にX(元Twitter)の規約が変わる、私達はAI学習に否応無しに同意させられる事になる」
そんなポストが大バズリしたのがつい先月。
実際には、Xのプライバシーポリシーには元々「投稿者のポストをXのAIトレーニングに利用する事に同意する」旨が2023年9月時点で既に記載されている。そもそも日本の法において、学習そのものを拒否する権利は最初から無い。
しかし、その自明であったルールが「聡明な」反AIさんによって「新発見」され、反AIさん達は空が落ちてくるかのように大騒ぎ。
↑「今更そんなことを騒ぎ立てるなんて、情報が遅いねぇ」程度の嫌味ならわかる。ただ自分としては知らなかった人間もそりゃあ居るだろうなくらいに感じていた(利用規約とか改定とか読まない人間も多かろう、特にXを頻繁に見るような人間でないなら今回のバズリで初めて知った人もいるだろうなぁくらいの意味)。
AIに反対してるくせにそんなことも知らないのか、という意見なら一理あるかもしれないけど、2023年9月以降にAIに反対することを決めた人間は最初の改定を知らなくてもおかしくないように思う。
だから空が落ちてくるかのように云々は、新しく知った人が中心になって騒がれているのだから主語は「反AIさん」ではなく「9月頃にあった規約を読んでいなかったので、初めてその規約を知って危機感を持った絵の生成AIに反対する人間」が正しいと思う(長いから略したくなる気持ちはわかるが)。
そもそも深層学習の構造を考えると、億単位の画像を学習している基盤モデルに自分の作品が数十枚食われた程度で、個人の絵柄が再現できるはずもない。そのため当然、特定の作家個人の創作活動が脅かされる事もない。
↑狙い撃ちLoraの話を後半でしているのに「特定の作家個人の創作活動が脅かされる事もない」と主張をするのはちょっと無理があるかなと思う。となるとここは、それこそ後半でも語っている通りまだAIについての知識が浅いのだろう。
それは1年以上前から自分の作品がAIに既に食われ続けているという事実を鑑みれば、今後も影響が無いことぐらい少し考えれば予想もつくだろう。
↑例えば狙い撃ちLoraは作家に悪影響を及ぼしているのでは？あとソースは忘れたので無いものとして扱って貰って構わない意見だが、一部絵描きの名前をプロンプトで指定できるという仕組みがどこかにあったように思う。
……と、思っていたのだが。
「自分の絵がAIに好き勝手されるのは嫌だ」（人間も好き勝手二次創作して金稼ぎしてるが？）←そも二次創作の場合では一次側に拒否されたり、差し止められる事がある。その事を考えると「好き勝手」「金稼ぎ」は少々悪意のある表現だろう。二次創作ではなく勝手に着彩されるとかトレスのほが絵かきの感覚に近いのではないか。
「AIを許容してると思われるのが嫌だ」（そんな個人の主義思想で差別するような人間の集団にいるの？付き合う友達選んだ方がいいですよ）←多分絵描きの友達が少ない、それか本気で本音を語り合える友人がいないんだろうなと感じた。それは勝手な感想だから流すとして、現状絵の生成AIについて静観していた否定寄り中庸派の人がそう言っていただけでは？と思う。自分の立場を勘違いされたくなくて出た言葉なのでは？と。まぁここは自分がそういう立場の人間ばかり見たというだけの話だとも思うが。後半を見るにこの方はそういう集団から抜けた人なのかなと思いついた。
などなど、AIアレルギーと思しき絵描き達の断末魔と、それら1つ1つを数千リポストまでせっせと拡散して「自分達はこんなに苦しんでるんだ」「こんなに多くの人達が賛同しているから自分達は正しいんだ」とアピールする人達。
↑淡々と言えばいいのに、変なところに悪意が漏れている。群れたって何の意味もないのに、程度の意見で良いように思う。
ある者はGlazeやらNightshadeやらで絵を汚すことで安心（＝プラセボ効果）を得ようとし、
↑別にXに上げる絵を汚しても(自分はそこまで汚れてるとも思わないが)、学習のされにくい他サイトにオリジナルの絵を上げればよいのだから別にこれを愚かとは思わない。安心のためにやっている人間も居るだろうが、そもそれは悪いことではない。
ある者はXに見限りをつけて他のSNSを探し始め、
ある者は「何故私達が出ていかないと行けないんだ」（お前達がそうしようと決めた事なのに？）と恨み言。
私は、彼らが自分の絵を汚す事で安心や自己肯定感が得られるなら別にそれでも良いと思う。
このへんはファッションと一緒かもしれない。自己満足でしかなくとも、ちょっと高い服やネイル等を身に着けることによって「自分がこの場に居ても良い」という確信が得られる。そうして得た自信や承認が、例え虚栄であろうとも人生をプラス方向に持ち上げていく、そういった側面は少なからずあると思う。
ただ、私が観測する限りにおいては、それら学習阻害技術なりウォーターマークなりが具体的にAI学習の何に対してどういった効力を示すのか、などの技術面を踏み込んで理解している／しようとする絵描きはほぼ居なかった。
↑https://qiita.com/miu200521358/items/5140ce700a9481aa15e3とかを見ればそれを調べてる人もいる。まだ知らない人たちに教えてあげればいい。例えしようとしていなくても、知らせることはできるのだから。
ただただ何となく「それをすることでAI野郎が離れてくれるおまじない」程度の、Xでバズっていた誰かの噂話を鵜呑みにすることでしか技術を理解できない、その程度の浅いリテラシーの人達ばかり。
一部の絵描きは「何で苦労して描いた絵をこうして汚さなきゃいけないの」と被害感情をむき出しにしながらノイズを乗せている体たらくだ。辛いなら汚さなきゃ良いのに。
↑多分自分はリテラシーが高い側だと思っているんだろうけど、そうでもない。「辛いなら汚さなきゃ良いのに」には少し共感するが、それも他サイトに誘導して見てもらえればいいだけの話だと思う。
本当にAIを自分の生業を脅かす技術だと思うなら、何故敵のことを正しく知ろうともせず、自己流で対処しようとするのか。
無学の人間が無い知恵を絞って対策を講じても、的外れにしかならない。
↑自分は知識があると思っている無学の人間が、無い知恵を絞って批判をしようと、的外れにしかならない。自己流で対処というのはどういうことか、敵を知るとは何を指しているのか、何故あなたの観測した絵描きという限られた範囲の話でここまで悪意を噴出させられるのかがわからない。仮に正しい対処をしている人を見つけても、結局この方は認めないだろう。「間違っている」というばかりで、正しいことを広める努力は特にしていないだろう(してたら申し訳ない)。勝手な決めつけをしたあとで言うのは説得力に大きく欠けるが、相手をあまり決めつけで愚かと思わないほうがいい。あなたの観測した範囲の中にも、対処法を探ったり生成AIについて正しく勉強をしている人もいるかもしれない。あなたなりの「正しい方法」とやらがあるのなら周りにそれを伝えれば良い。愚痴が吐きたいだけの人には重すぎるかもしれないが。
「マスクなんて意味がない」「コロナワクチンは人を殺す、イベルメクチンを使おう」
そんなエセ科学で吹き上がる陰謀論のデタラメを、かつて私達は知識を以て一蹴してきた筈なのに、今では絵描きとその信者達が同じ穴の狢となっている。根底は感情論でしかないという点でこれらは同一のものだ。「ワクチンが嫌い」「技術者が嫌い」「AIが嫌い」
↑根底は感情論、の何がいけないかを示していない。感情論であっても、「マスクには意味がある」「コロナワクチンは人を救う」からそれを激しく推奨するという感情論があったとするならそれは正しいと褒められるべきことである。この方は生成AIへの知識がほんの少しだけあり、かつ周囲の人間を自分より知識がないと見下しているから、自分の意見に沿わない人間を「愚かである」「(自分の意に沿わない)感情論である」と言えるのだろう。だから同じ穴のムジナであるのは(一連の行動がまだ正しいことであるか判然としていない今であれば)あなたかもしれないことは注意すべきである。
そして、正しい意見の啓蒙にさえ「冷笑系」とレッテルを貼って、冷笑されたと被害者アピールの火種に焚べ、エコーチェンバーの中に閉じこもる。
↑こういう人間は実際にいる、がこの方はそれを全てだと思ってしまっている。正しい意見とやらがどんなものかはわからないが、この方にとっては正しいもので、それを拒否している人間を見て激しく失望したのだろう。自分にとっても、そういった耳を傾けない自分の殻に閉じこもった人間は好ましくない。
ああ、今日もまた「ぼくの考えた最強のウォーターマーク」が木っ端の絵描きから上がってくる。
それを使うことで学習阻害効果がどれだけあるかどうかの比較検証は？
そんなのある訳がない。これは洗剤のCMじゃなくてただのおまじないなんだから。
↑https://qiita.com/miu200521358/items/5140ce700a9481aa15e3をみればいい。そんなのある訳がある。おまじないだとおもっている人間は誰なのか。
「もちろんやる訳がない。AI無法者は会話の通じない土人達だからな」
「何故AI使用者をモラルが低い、会話の通じない者と断じるのですか？」
「俺のタイムラインじゃみんながそう言ってる！俺も生成AI使用者を犯罪者と罵ったら著作権がどうこうで激詰めされた！」
「著作権違反行為ではない行為を端から犯罪扱いしたら反発を食らうのは当然では？」
「うるさいうるさい！俺達から何も奪うな！AI推進者は全員敵だ！俺達だけが正しいんだ！！」
ああ、私と相互フォローになってくれていた、素敵な絵師サマの先生の中に、こんなにも愚かな思想の持ち主がたくさん紛れていたなんて。自分の人を見る目の無さが恥ずかしい。（全員ではない。数百人フォローしていた中での体感5～6割ぐらいだが……女性の絵描きの方の界隈ではもっと多いだろうね）
↑これで失望したのだろう。まあ著作権違反については議論の余地があるとして、この方は周りの意見に流される人間を軽蔑しているようだ。
完全な決めつけだが数百人フォロー云々の下りは半分嘘だろう。過激な反対派が10人足らずいてそれ以外の反対派も少しだけ見て足して5~6割とみなしたか、そもそもアカウントを過激な反対派の人以外ほぼ見ていないかのどちらかだろう。
過激な人の言動は確かに自分もどうかと思う部分はあるが、数百人のうち5~6割がその愚かな思想とやらを持っているとは思えない。多分この方の体感的には本当に「たくさん」だったのだろう。
私自身の絵描きの視点として生成AIを考えると、生成AI及びAI作品はライバルではありこそすれ、クリエイター業そのものを脅かすほどの力はないと考えている。
↑自分は絵の生成AIはライバルではなくノイズだと考える。クリエイター業はクオリティの面で脅かされるのではなく、生成物の物量と誰でも触れられるという手軽さで脅かされる。個人の作品に触れづらくなり、触れる必要もなくなってしまうという方が正しい。
pixivなどを見るに顕著だが、生成AIの登場後に作品数は急増した。今はAIタグというものがあるが、それをつけていない作品もちらほらある。これが続くと、供給量と需要が釣り合わず、作品は誰かに探されなくなり、探されないうちに埋もれてしまう。
クオリティではなく数が問題で、作品の展示場をゴミまみれにするという意味では商売敵というよりただの敵である(ゴミと感じるかどうかは人によるが展示場に参加した人間にとっては不愉快だろう)。
作品ではなく使う人間と、その人間が生み出せる数こそがクリエイター業の人間にとっての脅威になると、自分は考える。
誰にも見てもらえないなら、どんなに素晴らしい作品も評価されないのだから。
恥ずかしながら私はまだまだAIについて無学のためCNの使い方すらまともに理解していないのだが……少なくとも自分で使った時は決まったキャラクターやシチュエーションを安定して生み出すことはなかなかに難しく、描き手が表現したい物語を過不足なく表現するにはかなり制御が難しいツールだと感じた。ランダムなアイデア出しにはかなり便利だけどね。
↑ここでAIについて無学と言っている。いままでのこき下ろしはなんだったのか。
DLSiteにおける販売数などを見ても、AI主体作品はまだまだ下火で、手描きのイラスト集と比べて1～2桁は販売数が下回る。2年前からずっと、手描きの価値は毀損されてなどいない。私自身、収益も減ったりはしていない。
↑なぜ今しか見えていないのか、生成AIが誰の反感も買わず受け入れられるようになってからでないといずれ収益や価値に影響が出ると思えないのだろうか。
今AI作品が下火なのは、生成AIに対する問題点が完全に払拭されていないからである。現状ではグレーな行為だと認識されているからまだクリエイターへの影響が軽微なだけであると自分は考える。
タグなどを用いて徹底した棲み分けが行えない場合は、現行のクリエイターが殆ど滅びるだろう。
ただ、少なくとも革新的技術であることは間違いないんだから、「無断学習」などというよくわからないレッテルを貼って排除するべき存在ではない。ましてや法を侵さず生成AIを使用している者まで問答無用で簒奪者という扱いにして社会から排除しようとするのは、暴力や差別に他ならない。
↑これも分かる。簒奪者扱いをするは良くない。ソフトの倫理面に問題はあれど、現状ではまだ規制されていないのだから。ただし、革新的技術であることと保護すべきかどうかは別の話である。ソースは忘れたので無価値に等しいが、欧州では規制の流れができつつあるそうだ。そして保護するべきかどうかを決めるのは個人というより社会や時流であり、今はその主張を自分の意に沿うよう引っ張ろうとしている個人が多くいるだけである。我々は意見を主張しながらも、決定に従うほかない。だから現状では否定派肯定派の正しさとやらは存在しない、未決定なのだから。当然倫理は守るべきとは思うので、社会から排除しようという風潮自体は好ましくないが、それにしたって決定に従うほかない。明日にはひっくり返るかもしれない決定に。
インターネットに転がっているものを無断で学習し、個人を特定できない形に組み替えて再利用するのなんて、AIだろうと人間だろうと当たり前にやっていることなんだから。
↑AIと人間の学習は違うものである。@VoQnさんのポストでも遡ると分かる。
生成AIには確かにまだまだ法的な課題もある。狙い打ちLoRAと呼ばれる特定作家個人に絞った学習モデルや、ディープフェイクなんかがそうだね。
しかしそれらの問題を掲げた時、私達が論ずるべきは「それらの問題をどのように規制し、どうすれば安全に生成AIを社会利用できる仕組みを構築するか」のはずだ。
↑同意するが、主語は「絵や動画の生成AI」であり、生成AIではない。それ以外は絵の分野から論じても意味がない。
過度に互いの派閥を敵視しすぎるというのは問題だと自分も思う。が、絵かきの中には食い扶持を減らされると思う人間も居るだろう。そしてその可能性は的はずれなものではないと考える。
排斥はいけないことだが、それを行う人間の感情はどうしたって消せないものだ。
もっとも、話し合いが成り立たないのは陣頭に立つ人間がいないからだと思うが。
個人個人が話し合っても意味はない。チラシの裏の落書きに過ぎないからだ。界隈だの派閥だの言われてはいるが、その実意見を発表する人間が居るだけで、誰も責任をとろうとしていないのだから価値ある疑問にも回答にも意味がなくなってしまう。
だから我々が個人としてするべきなのは、然るべき機関への署名提出や意見提出であって、レスバではない(この日記を否定したくて書いている自分が言えた義理ではないが)。
例えばスマホだって本邦では年間数千件の盗撮被害が発生しているが、それら問題を以て「スマホorカメラを世から根絶しよう」なんて言い出したらただの狂人だ。
しかし絵描き達は、あろうことか「どうすれば生成AIを根絶できるか」「どうすれば絶対に学習されないか」といった妄言を唱え始めた。
残念だけどそれはもう、歩いて月まで行くぐらいには無理な願いだ。イラスト生成に限らず、翻訳、検索機能、ChatGPT等、大規模言語モデルによる生成技術は既に社会の根幹を為すインフラの一部になっている。
↑イラスト系以外の生成AIも規制しようとしている人がいれば、それは生成AIへの拒絶反応だと思うが、現状イラスト系に対して学習を阻害するというのはある種効果的である。
この阻害をスタンダードにしてしまえば、例えば新規IPのキャラは生成AIで生み出しづらくなるだろう。その妄言とやらが案外的を射ていたりするものである。
私は2桁年ほど漫画やイラストに携わって細々と生活しているクリエイターの端くれだが、正直言ってこの1ヶ月の絵描き界隈の道化っぷりにはひたすら「呆れ返る」以外の感想が持てない。
────────────
そんなポストが大バズリしたのがつい先月。
実際には、Xのプライバシーポリシーには元々「投稿者のポストをXのAIトレーニングに利用する事に同意する」旨が2023年9月時点で既に記載されている。そもそも日本の法において、学習そのものを拒否する権利は最初から無い。
しかし、その自明であったルールが「聡明な」反AIさんによって「新発見」され、反AIさん達は空が落ちてくるかのように大騒ぎ。
そもそも深層学習の構造を考えると、億単位の画像を学習している基盤モデルに自分の作品が数十枚食われた程度で、個人の絵柄が再現できるはずもない。そのため当然、特定の作家個人の創作活動が脅かされる事もない。
それは1年以上前から自分の作品がAIに既に食われ続けているという事実を鑑みれば、今後も影響が無いことぐらい少し考えれば予想もつくだろう。
……と、思っていたのだが。
「自分の絵がAIに好き勝手されるのは嫌だ」（人間も好き勝手二次創作して金稼ぎしてるが？）
「AIを許容してると思われるのが嫌だ」（そんな個人の主義思想で差別するような人間の集団にいるの？付き合う友達選んだ方がいいですよ）
などなど、AIアレルギーと思しき絵描き達の断末魔と、それら1つ1つを数千リポストまでせっせと拡散して「自分達はこんなに苦しんでるんだ」「こんなに多くの人達が賛同しているから自分達は正しいんだ」とアピールする人達。
ある者はGlazeやらNightshadeやらで絵を汚すことで安心（＝プラセボ効果）を得ようとし、
ある者はXに見限りをつけて他のSNSを探し始め、
ある者は「何故私達が出ていかないと行けないんだ」（お前達がそうしようと決めた事なのに？）と恨み言。
私は、彼らが自分の絵を汚す事で安心や自己肯定感が得られるなら別にそれでも良いと思う。
このへんはファッションと一緒かもしれない。自己満足でしかなくとも、ちょっと高い服やネイル等を身に着けることによって「自分がこの場に居ても良い」という確信が得られる。そうして得た自信や承認が、例え虚栄であろうとも人生をプラス方向に持ち上げていく、そういった側面は少なからずあると思う。
ただ、私が観測する限りにおいては、それら学習阻害技術なりウォーターマークなりが具体的にAI学習の何に対してどういった効力を示すのか、などの技術面を踏み込んで理解している／しようとする絵描きはほぼ居なかった。
ただただ何となく「それをすることでAI野郎が離れてくれるおまじない」程度の、Xでバズっていた誰かの噂話を鵜呑みにすることでしか技術を理解できない、その程度の浅いリテラシーの人達ばかり。
一部の絵描きは「何で苦労して描いた絵をこうして汚さなきゃいけないの」と被害感情をむき出しにしながらノイズを乗せている体たらくだ。辛いなら汚さなきゃ良いのに。
本当にAIを自分の生業を脅かす技術だと思うなら、何故敵のことを正しく知ろうともせず、自己流で対処しようとするのか。
無学の人間が無い知恵を絞って対策を講じても、的外れにしかならない。
そんなエセ科学で吹き上がる陰謀論のデタラメを、かつて私達は知識を以て一蹴してきた筈なのに、今では絵描きとその信者達が同じ穴の狢となっている。根底は感情論でしかないという点でこれらは同一のものだ。「ワクチンが嫌い」「技術者が嫌い」「AIが嫌い」
そして、正しい意見の啓蒙にさえ「冷笑系」とレッテルを貼って、冷笑されたと被害者アピールの火種に焚べ、エコーチェンバーの中に閉じこもる。
ああ、今日もまた「ぼくの考えた最強のウォーターマーク」が木っ端の絵描きから上がってくる。
それを使うことで学習阻害効果がどれだけあるかどうかの比較検証は？
そんなのある訳がない。これは洗剤のCMじゃなくてただのおまじないなんだから。
「もちろんやる訳がない。AI無法者は会話の通じない土人達だからな」
「何故AI使用者をモラルが低い、会話の通じない者と断じるのですか？」
「俺のタイムラインじゃみんながそう言ってる！俺も生成AI使用者を犯罪者と罵ったら著作権がどうこうで激詰めされた！」
「著作権違反行為ではない行為を端から犯罪扱いしたら反発を食らうのは当然では？」
ああ、私と相互フォローになってくれていた、素敵な絵師サマの先生の中に、こんなにも愚かな思想の持ち主がたくさん紛れていたなんて。自分の人を見る目の無さが恥ずかしい。（全員ではない。数百人フォローしていた中での体感5～6割ぐらいだが……女性の絵描きの方の界隈ではもっと多いだろうね）
────────────
私自身の絵描きの視点として生成AIを考えると、生成AI及びAI作品はライバルではありこそすれ、クリエイター業そのものを脅かすほどの力はないと考えている。
恥ずかしながら私はまだまだAIについて無学のためCNの使い方すらまともに理解していないのだが……少なくとも自分で使った時は決まったキャラクターやシチュエーションを安定して生み出すことはなかなかに難しく、描き手が表現したい物語を過不足なく表現するにはかなり制御が難しいツールだと感じた。ランダムなアイデア出しにはかなり便利だけどね。
DLSiteにおける販売数などを見ても、AI主体作品はまだまだ下火で、手描きのイラスト集と比べて1～2桁は販売数が下回る。2年前からずっと、手描きの価値は毀損されてなどいない。私自身、収益も減ったりはしていない。
ただ、少なくとも革新的技術であることは間違いないんだから、「無断学習」などというよくわからないレッテルを貼って排除するべき存在ではない。ましてや法を侵さず生成AIを使用している者まで問答無用で簒奪者という扱いにして社会から排除しようとするのは、暴力や差別に他ならない。
インターネットに転がっているものを無断で学習し、個人を特定できない形に組み替えて再利用するのなんて、AIだろうと人間だろうと当たり前にやっていることなんだから。
生成AIには確かにまだまだ法的な課題もある。狙い打ちLoRAと呼ばれる特定作家個人に絞った学習モデルや、ディープフェイクなんかがそうだね。
しかしそれらの問題を掲げた時、私達が論ずるべきは「それらの問題をどのように規制し、どうすれば安全に生成AIを社会利用できる仕組みを構築するか」のはずだ。
例えばスマホだって本邦では年間数千件の盗撮被害が発生しているが、それら問題を以て「スマホorカメラを世から根絶しよう」なんて言い出したらただの狂人だ。
残念だけどそれはもう、歩いて月まで行くぐらいには無理な願いだ。イラスト生成に限らず、翻訳、検索機能、ChatGPT等、大規模言語モデルによる生成技術は既に社会の根幹を為すインフラの一部になっている。
イラスト生成のみを排除する法規制を願うことは、「無断学習」によって成り立っているそれらを真っ向から否定することになる。そんな無茶苦茶が通るはずもない以上、その願いはただのワガママでしか無いだろう。
それを受け入れられない絵描き達は、今も #NOMORE無断生成AI などのタグ付けでさも自分たちが正義の側にいるかのように喧伝する。
著作権の大前提たる類似性や依拠性の話をすっ飛ばし「人のものを取ったらどろぼう！」程度の解像度で、自分達の意にそぐわない者をネットリンチで黙らせる。
法で論破されて涙目になりながら、生成AI根絶法などという、来るはずもないスーパーヒーローが颯爽と現れてAIロジハラ野郎共をやっつけてくれる事を夢想する。
AI生成者にフォローされたと見るや「泥棒にフォローされた。気持ち悪いからブロックしました……」などと、その人が具体的に何の罪を犯しているかも示さず、まるでアリを潰すかのような勢いで名誉毀損を仕掛けながら被害者アピールをポストし、お仲間にヨシヨシしてもらおうとする。
そして、「自分の作品を削除する」「ノイズ(学習されないおまじない)をかける」などの行動よって、社会にとって既に当然として受け入れられている生成技術に一矢を報いているつもりになる。
Xの規約は11/15前後で何も変わっていない、もう既にあなたの作品は学習され尽くしているというのに。
生成AIに対する誤解とデマに踊らされた彼らは、癇癪の勢いのまま自らの作品を傷つけ破壊し、最も拡散力のあるSNSの1つを捨て去る道を選んだ。この幼稚な結末は、集団自滅以外の何者でもないだろう。
そうしてこの騒動は、ただただインフルエンサーという名の親鳥が生成AIを嫌いになるための餌を運んでくれるのを待つことしかしなかった、司法への働きかけを怠った反AI達のラダイト運動未満のキャンセルカルチャーの末路として、10年後には笑い種として教科書に記載されるのだろう。
────────────
私が細々と絵を描き続けてきた人生で、私は多くの仲間に支えられ、いつしか自身のIPを抱えるまで成長させてもらった。
「この人、素敵な絵を描く人だな。いつかこの方にお金を払ってゲストイラストとか依頼してみたいな」
そう思っていた絵描きの先生方は、反AI思想に狂って皆おかしくなり、私の人生で決して関わりたくない者リストの一員に堕してしまった。
2年前にNovelAIが登場してその生成物を見たとき、こんな性癖も主題もあやふやな作品達にはあまり魅力を感じないな、と思っていた。
しかし今では正直、AI作品の方が見ていて落ち着くよ。生成ユーザーが技術的な向上心を以て日々クオリティアップに励んだ努力の結果が作品に表れているのもそうだが、一番の理由は……彼らは「AI学習禁止」などという存在しない権利を振りかざして、無実の集団を犯罪者呼ばわりするレイシストじゃないからね。
正直、推しの作家さんが作品を消してしまうのは悲しい。が、技術の進歩にとって有害なデマを撒き散らし、自作を切り付けるリスカによって無知蒙昧を晒す痴態を眺めるぐらいなら、これからはもう私が保存したアルバムの中だけの「素敵な絵を描いていたあの先生」という思い出でいて欲しい。
反AI、改め「名誉毀損＆差別＆キャンセルカルチャーだいすきならず者集団」の皆様へ。
どんなにダブスタだオキモチだと批判されても己が道を貫き、お引越し先の方では心穏やかに創作活動を続けられる事をお祈り申し上げます。
注意：AI批判目的ではありません。単なる考察結果の共有です。どちらかというと私は思想的にはAI推進過激派です。また、ここでの推測はすべて外れている可能性はあります、あくまで推測です。
DMMボイスという名前から「にじボイス」という名称に変更された。主な変更点は以下。
それ以外は本記事の内容はすべて当てはまるので、以下「DMMボイス」となっている箇所は適宜「にじボイス」へ読み替えて呼んでほしい。
最近AI界隈（？）で話題になっている、20人分のアニメ調キャラクターの声で感情的な音声を簡単に生成することができるAIサービス。
それの学習元に、エロゲーのテキスト音声データが使われているのではないかという話。
まずは性能がかなり高くて楽しいのでみんな遊んでみてください。（そして知ってる声優がいないか探してみてください。）
現時点では何のフィルターもなく、どのような卑語や卑猥なセリフも発話させられる。
ただ、ある特定の雰囲気のパターンのみなぜか音声合成させると吐息のようなものになり、入力文章からかけ離れてしまう。
それは「ちゅぱちゅぱれろれろ」だ。
他にも、例えば「んじゅぷんくっちゅぱ……じゅ……れちゅはぁ……」や「ちゅぷぷっ、んちゅぅ……ちゅくくっ、むちゅぅ……ぢゅるっ、ちゅちゅぅっ」等を試してみてほしい。
ひらがなですべて書かれているので、発音は明確にはっきりしているはずだが、それでもなぜか発音できず吐息のようなものとなる。
一方で、並びはそのままのまま「ふゅととっ、んびゅぅ……こゅねねっ、むびゅぅ……ぞゅけっ、たゅたゅぅっ」や「にゅべべっ、おにゅぅ……にゅけけっ、めにゅぅ……づゅれっ、にゅにゅぅっ。」等は、きちんと文字通り発音される。
さらに、単純に全てカタカナにして、「チュパチュパレロレロ」にしてもきちんと発音される。またちょっと並び替えて「ぱちゅぱちゅろれろれ」は発音される。その他、適当な意味をなさない「ちゅかちゅほぱれもふい」等のランダムな文字列にしても発音される。
他にも、私が試してみた限りでは、上述の謎の雰囲気のテキスト群以外の文章はほぼ正確に文字通りに発音される。
以上のことから、学習データには「ちゅぱちゅぱれろれろ」やその他の上記例のような特定雰囲気のセリフに対して、「その文字の通常の発音通りでないような音声」が対応しているようなデータが使われていることが推測される。
（念の為に書いておくと、音声合成の学習にあたっては、音声とその音声が何を喋っているかというテキストのペアを、大量に学習させる。）
余談であるが、カタカナの「チュパチュパレロレロ」は発音できるがひらがなの「ちゅぱちゅぱれろれろ」は発音できないという事実からは、古くからの音声合成での「日本語文章→音素列（簡単に言えば読みのカナ列）→音声」という流れの単純な音声合成だけでなく、元の日本語からの情報も音声合成に入力していること推測できる。
元の日本語テキストに対して、その音素列に加えて、大規模言語モデルのエンコーダーモデル、いわゆるテキスト埋め込みも音声合成のテキストエンコーダ部分へ注入するというのは、近年の感情豊かな音声合成界隈での一つのトレンドである。
音声合成にあたりAIが「発音の仕方」だけじゃなくて「セリフの意味」も理解する、というわけである。
例えば「ちゅぱちゅぱれろれろ」も、単独では正常な発話ができないが、「はてなは、匿名性を活かした自由な表現が可能となる場として、ちゅぱちゅぱれろれろ、はてな匿名ダイアリーをご利用いただきたいと考えております。」等に文中に紛れ込ませると正常に発話ができること、また文章全体の示す感情によって途中の声音のテンション等が変わること等も、これらの帰結である。
さて、我々は「れろれろれろ……ちゅぱっ、ちゅぶっ……んちゅ、れろっ……ぺろ、ぺろっ……んちゅぅ」のようなテキストが文字通りの発音と対応しない、そのような状況を知っているはずである。そう、エロゲーだ。
エロゲーにはチュパ音という文化がある。これはヒロインが主人公にフェラチオをするシーンで、ヒロインの声優がそのおしゃぶりシーンを汁音たっぷりに演技をするものである。
そこでは、「あぁむ、じゅぶ……じゅぽじゅぽ……ちゅるっ、ちゅ、ちゅっ、ちゅぅぅぅぅ……んっ、んっ、んんっーー！」のようなテキストに対して、そのテキストの通常の文字通りの発音からはかけ離れた、しゃぶりまくり水音出しまくり啜りまくりの演技が音声として与えられる。
よって上記挙動から、DMMボイスの学習元の少なくとも一部には、エロゲーから抽出したデータが使われているのではないかと推測することができる。
界隈では有名な事実だが、エロゲー（R18に限らずノベルゲー一般）からは、1本だいたい（ものによるが）20時間程度の音声とテキストの両方を（多少の知識があれば）大量に抽出することができ、音声合成や音声認識等の音声に関するAIの研究においては非常に貴重なデータとなっている。
よって、大量の「テキストと音声のペア」が必要な音声合成では、特に表に出ないアングラなところで、ひっそりと学習に使われることが多々ある。また特定の声優の声を出そうという意図はなくても、いわゆる音声AIの事前学習モデルとして、すなわち日本語の発音の仕方をAIが学ぶときに必要な大量の音声データとして、そのようなデータを使うことは、一般的とまでは言わないにしても、あることである。
ましてやDMMである。エロゲープレイヤーならば、近年の衰退しつつあるノベルゲー文化はかなりの部分をFANZAに依存していることをすでに知っているだろう（いつもお世話になっております）。
以上のような理由から私はエロゲーが少なくとも学習データに含まれているのではないかと推測したが、そもそものきっかけは、それより前に、単純にいろんなキャラで音声合成させて遊んでいたら、
少なくとも私の耳には「あれこの人あの声優じゃん？」というキャラが何人かいたからである。
久世凛さん（くん？）の人はたぶん声優として有名なあの人だし、ノエラちゃんとか多分一般でも最近いろいろ有名なんじゃなかろうか？（元エロゲー声優出身でそれから表に出てきて大成功していることで有名）
月城 美蘭ちゃんのキャラは某シリーズの某キャラがめっちゃ好きです。
他にも声優に詳しい方だったら、誰の声か分かるキャラが数人はいるのではなかろうか。
さらに実験を重ねていると、エロゲーが学習に使用されていると推測されるもう一つの事象を発見した。
それは「おちんちん」という単語を含んだセリフを音声合成させると、不自然に「おちんちん」の1番目の「ん」がきれて「おちっちん」のように音声合成されるという現象である。
（実際は「おちっちん」ほど極端ではないが、明確に2番目の「ん」の音が通常の発音よりもかなり弱く、不自然に途切れた印象の発音になっている。「おちんつん」等にして比較するとより違いが明確になる。）
このことから、「おちんちん」という単語がそのまま発話されないデータが学習元に多いのではないかと推測できる。
エロゲープレイヤーならば知っているだろうが、大半の商業エロゲーでは規制から「おちんちん」という文字は「おち○ちん」と伏せ字になり音声ではピー音が入る。
このような音声の内部の音声データは、伏せ字部分が抜けて発音されていることが多い（ピー音がそのまま入っているものもある）。
このことも、エロゲーの音声データがDMMボイスの学習元として使われているという推測を支持している。
追記。ブコメ等で、「膣」がなぜか「ナカ」と発音されるという現象の報告が多くあった。また試すと「ナツ」と発話されることも多い。これについて、私よりも音声学に詳しいであろう増田の観察があったのでリンクを貼っておく: anond:20241105060042
端的に言うと、データセットに「膣内に出して……！」等のセリフで「ナカに出して！」と発音されていることが多いことから、本来の読みである「チツ」と「ナカ」との混乱がテキストエンコーダ部分で起きた結果の現象だと推測される。
引用になるが「膣はあけぼの。膣は夜。膣は夕暮れ。膣はつとめて。」を音声合成させてみるのを試してみるとよいだろう。
DMMボイスに対して学習元等の問い合わせをしている人たちが数人はいるようで、開発者サイドのそれに対するリプライの文章から抜粋する。
https://x.com/1230yuji/status/1852914053326483685
「音声学習データは音声データの大量購入、機械合成、収録で取得しています。具体的な情報は企業秘密にあたるため開示できません。」
ここで「音声データの大量購入」という箇所がひっかかる。そう、界隈にいれば知っている人が多いだろうが、音声とテキストのペアのデータセットで、大量購入できるようなものはほぼない（あったら喉から手が出るほど欲しい）。
さらにまた、DMMボイスはアニメ調のキャラクターの音声合成が売りである。そのようなデータセットで、大量購入できるようなものはほぼない（あったら喉から手が出るほど欲しい）。
つまり、ここでの大量購入はエロゲーの大量購入を指しているのではないかと推測することができる。（もしくは、少し前に触れた、すでに公開されているそのような音声データセットから流用したか）。
追記となるが、DMMボイスの利用規約自体が少しおかしいのではという議論を提起している動画があったので紹介しておく: https://www.youtube.com/watch?v=tkBGBVjOIZk
（以前ここで第８条1(1)について書いたいたが、この文言自体は利用規約で一般的なもののようだ、申し訳ない）
音声AIについて昨年5月あたりから品質が大いに向上したことで、AIカバーや声優音声の無断学習等の文脈で、様々な議論が発生している。最近では有名な声優たちがNOMORE無断生成AIというスローガンで大々的に活動している。
これは、声優たちが、自分たちの声が無断でAI学習に使用され、その上で収益化をされていることに対して反対して展開している運動だ。
（この運動に対する是非等の意見は私は持たない、最初に述べた通り私はどちらかというとAI推進過激派である。）
また、このような運動がおこる背景として、（イラストでかなりバトルが発生しているが、）AI学習における「声の権利」との法的な取り扱いが現状の法律だと不明瞭な点から、法律とくに著作権に訴えることでは現状の使われ方に対して法的措置を取りにくいところにある。
このようなAIと音声の権利については最近の柿沼弁護士の記事が参考になるので詳しくはそちらを読んでほしい。
https://storialaw.jp/blog/11344
私自身は法律の専門家でもなんでもないので法的なあれこれについて述べることはできないが、理解している範囲で述べる（間違ってたらすみません）。
音声AIの法的議論では「パブリシティ権」という概念が重要になる。これはざっくり言うと、有名女優の肖像を勝手に商品の宣伝に使ったりすると、その女優が得られたであろう広告収入が奪われたことになるのでダメ、という感じのものである。
このパブリシティ権は現在の日本の法律の文面では明文化されておらず、どこまでがパブリシティ権にあたるのかということについて、特に音声については、未だ判例がなくはっきり分からない。
しかし有名人の氏名についてはパブリシティ権は認められているので、もしDMMボイスが、「あの人気声優○○さんの声で音声合成できる！」としてこのサービスを提供していたら、正式に契約を結んでいた場合に得られたであろう声優の利益のことを考慮すると、声優の許諾がない場合ほぼ確実にダメだと思われる（判例待ちなので断言はたぶんできない）。
だがDMMボイスは、学習元の20人分の声優が誰かや、またその声優からの許諾を得て20人分の声優を使っているかを、うまい具合に言及を避けている。
声優好きな人は声のみからその声優が誰であるかを判定することができる人も多いので、そのような場合に、声優名を伏せていたとしてもパブリシティ権の侵害にあたるかは、おそらくかなりグレーで判例待ち事案である。
そのような意味で、このDMMボイスは（もし裁判等や運動が起これば）音声AIと声の権利に対する法的な解像度を上げ議論を起こすのに貢献する事例になるであろうことは間違いない。
何度か述べている通り、私はAI推進過激派寄りの人間であり、NOMORE無断生成AI等の、最近の声優たちやアンチ生成AIの人達による運動に対しては、事態を注視しているだけの中立的（むしろ逆にガンガン生成AI使っていこうぜという）立場である。
また今回のDMMボイスの公開や今後のサービス展開に対しても、ことさらそれが悪いことだとか、そのようなものは避けるべきだとか、については思っておらず、むしろ「いつか来るだろうなあと思っていたものを大きい企業がようやく出してきたかあ、これで法律や声の権利についての議論や判例が進むかもな」といった程度の感想である。
（そしてDMMボイスのような技術が可能なこと、また実際にそれを学習させてみて個人で楽しむことは、私自身一年前くらいからずっとしており、そこから音声AI界隈をウォッチしていた。）
しかし、最近の声優サイドの運動や時流を見ると、せめて生成できる20人分の声優の許諾を取っているかについて言及しないままでは、アンチ生成AIサイドの批判の格好の的になるだけなのではないかと感じている。
技術的なことになるが、最近の音声AIでは、実在する声優の声から学習させて、しかし音声合成する際には非実在の人物による声音の音声合成が可能である（例えば声優二人の中間の声等）。
それが権利的や法的や倫理的にどうか等は置いておいて、DMMボイスは少なくともそのような措置を取るのがよかったのではないかと個人的には感じている。
（ただ、私の耳が悪いだけで、ホントは「この人の声だ！」と思ったキャラクターは実は全然そうじゃなかった可能性もある。しかしこの「「誰が喋っているかが明確に100%には断言できない」ところが音声AIと声の権利の議論の難しいところである。）
公平のため、最後に「ちゅぱちゅぱれろれろ」が発音できない現象について、エロゲーがDMMボイスの学習に直接使われたという以外に他のありうる可能性をいくつか書いておく。
また端的にありえるのは、他の「ちゅぱちゅぱれろれろ」が発音できないような音声AIをそのまま流用している可能性である。一つ「ちゅぱちゅぱれろれろ」が正常に発話できない音声合成AIライブラリを知っているが、それはデモ動画に私の好きなエロゲーのセリフが堂々と出ていたことから、それの学習元にエロゲーが入っていることはほぼ確実である。
また他に、DMMボイス自体を開発する際にはエロゲーデータは使っておらず許諾を得た声優のみから学習させるが、その学習元となった事前学習モデルにはエロゲーデータが入っていた、という可能性である。前に少し触れた通り、現在の生成AIには学習に大量のデータが必要であり、まず音声AIが発音の仕方を学ぶために、無から正常に発話できるようになるまでには大量のデータが必要である。そのような学習は非常にお金と時間がかかるため、生成AIでは「まず大規模なデータで学習させて事前学習モデルを作る」「次に、その事前学習モデルに対して、話させたい話者のデータで少量追加学習する」というアプローチが取られる場合がほとんどである。この Permalink | 記事への反応(18) | 07:53
生成AIのタイムリミットは実際には残り一年程度だと思っている。この一年という期間はGPT-5級の言語モデルが出て二か月程度という見積もり。一年は甘く見積もった計算でこれは半年程度に縮む可能性すらある。
GPT-5級の言語モデルというのは人類の知能の上位0.1%～0.01%の知能を持ったAIとここでは考える。今の最新のモデルGPT-4oやOpenAI-o1previewは少なくとも人類の上位10%～20%程度の知能はある（少なくとも自分よりも賢い）。
このレベルの知能が出たとき世界は大きく変わらざるおえない。特に資本主義社会では。GPT-5級の言語モデルが出て二ヶ月程度の猶予はこの世界の変化にかかる時間。
日本のAI規制派の多くは絵師界隈の人が多いが、画像生成AIはこのタイムリミットまではどれだけ発展しようが発展しまいが生成AIのメインストリームにくることはない。来るとすればGPT-6やAGIのころ。
逆にどれだけ画像生成AIを非難しようが、言語モデルの開発が止まらなければ全く意味はない。
特にフロンティアモデルを開発しているOpenAI、Anthropic、Googleの少なくとも一つの開発を一年以内に止めさせる必要がある。一つを止めると雪だるま式にすべてが止まる可能性がある。可能性があるだけで絶対ではないけど。実際にはフロンティアモデルは一つで十分なので、最終的には必ずすべての開発を止める必要がある。
この三つを止めると、一年から一年半の猶予ができるのでオープンなモデルに対する規制を実施する（中国のモデルも含む）。これでようやく生成AIの規制が達成される。
このタイムラインを理解して、時間的な危機感を持って規制に動いている人はxリスクやAIアライメントの視点からの人以外に見たことがない。
悠長にXで反反AIとレスバしている場合ではない。画像生成AIの著作権がどうとか言っている場合ではない。
「ChatGPTを送りつける」という煽りが定着してしまった現象は、オンライン上のコミュニケーションにおける興味深いトレンドとして注目を集めています。この現象は、人工知能（AI）の進歩と、特にチャットボット技術の普及によってもたらされたと言えるでしょう。
ChatGPTは、OpenAIによって開発された言語モデルをベースにしたチャットボットで、自然言語処理能力に優れており、人間との会話をシミュレートすることができます。その応答の質の高さと、幅広い話題への対応力から、多くのユーザーに愛用されています。
しかし、一部のユーザーがChatGPTを「バカ」とみなす相手への煽りとして利用し始めたことで、この現象が生まれました。この煽りは、おそらく次のような考えに基づいていると考えられます。
この現象は、インターネット文化のユニークな一面を示しています。AI技術の進歩が、オンライン上のコミュニケーションやユーモアの形に影響を与えているのです。しかし、このような煽りが過度に広がることは、建設的な議論や相互尊重の妨げとなる可能性もあります。
この現象をより健全な方向へ導くためには、以下のような取り組みが考えられます。
この現象は、AI技術の進歩とオンライン文化の相互作用の結果と言えます。このトレンドを前向きなものに導くためには、AI技術への理解を深め、オンライン上のコミュニケーションの質を高める取り組みが重要になるでしょう。
現状の言語モデルAIは感情労働者としてのプログラマーを代替できないため、これがプログラマーを置き換えることはない。
人間でもAIでもときどき間違えるが、現状のAIは原理上ときどき間違えるのが仕様であるし、仕様である以上AI会社はAIが出力した間違いについて絶対に責任を取らない。
AIにコードを書かせても、結局そのコードを読んで理解し、あるいは仕様を理解した上でテストを書いて「これで正しい、異常があれば我々が責任を負う」という人間が必要になる。
(テストまでAIに書かせても、テストコードの正しさを保証する人間がやはり必要になる)
「間違いがないことを保証できるAI」なんてものはシンギュラリティの遥か先にしかない。
コードの品質の問題ではなく、AIが出力したコードが損害を発生させたときに責任を負える者がいないために、AIをプログラマーの代わりに使うことはできない。
AIインフルエンサーたちはChatGPTが世に出る前は何を投稿していたのか？(1/1)の続き
このTwitterアカウントは、主にYouTube、SEO、競馬、アニメなどの話題について呟いており、自身の活動や興味関心について発信しています。
このアカウントは、日々の米国株や暗号通貨の市場動向、特にテクノロジー関連株やビットコインの価格変動についてツイートしています。
「ゼロコロナ政策再び。 $AAPL の生産に影響が懸念され大きく下落。更に経済混乱が想定され、株価はSP500全業種で
一方で年末商戦売上堅調な滑り出しで $AMZN
暗号資産レンディングBlockFiが経営破綻、暗号通貨も軒並み下落。
チャート上、なんとか踏み止まるか? 」
このアカウントは、AI、特にプロマネAIや量子AIに関する話題や、仕事効率化、プログラミング、そして最新の技術トレンドについて呟いています。
"プロマネAIの実証実験を開始しました！量子AI×NotionによるプロマネAIの実証実験を開始 https://prtimes.jp/main/html/rd/p/000000003.000082094.html… via @PRTIMES_JP"
このアカウントは、主にOpenAIの最新言語モデル「text-davinci-003」の進化と、そのモデルを用いた英語学習ツールやサービスについて呟いています。特に、英語学習におけるAI活用とその重要性を強調しています。
"朝起きたら世界がまた変わっていた（笑）。@OpenAI が最新モデル「text-davinci-003」を発表。主な特徴は、①より明確で、説得力のある文章が書ける②より複雑な指示にも対応③より長い形式のコンテンツが生成可 1月に"InstructGPT"が出た時も感動したけどそれを遥かに上回る進化、です。"
このアカウントは、主にAI、特に画像生成AIに関する話題を呟いています。特にStable Diffusionのバージョンアップや使い方について多くのツイートをしています。
ここにリストアップした人たち以外もみましたが、分類すると３種類のアカウントがいて
またIDを変更してログがヒットしない人は含まれていません（IDから特定できるけどそこまでやらなかった）
javascript:(function() {
const text = Array.from(document.querySelectorAll('[data-testid="tweetText"]')).map(s => s.textContent.trim()).join('\n');
const textarea = document.createElement('textarea');
document.body.appendChild(textarea);
try {
document.execCommand('copy');
console.log('結果がクリップボードにコピーされました！');
} catch (err) {
console.error('クリップボードへのコピーに失敗しました:', err);
}
document.body.removeChild(textarea);
})();
確かに、ChatGPTを使ってX（旧Twitter）での議論について多くの情報や見解を得ることができます。ただし、いくつかのポイントに注意する必要があります。
1.情報の網羅性: ChatGPTは多くのトピックについて知識を持っていますが、すべての詳細や最新の情報を網羅しているわけではありません。特にリアルタイムで進行中の話題や個別の意見については限界があります。
2.バイアスの可能性: 言語モデルはトレーニングデータに基づいていますが、そのデータにはバイアスが含まれている可能性があります。Xでの議論には様々な視点や意見が含まれるため、多角的に情報を集めることが重要です。
3.コンテキストの理解: Xの投稿は短く、時には文脈が不足していることがあります。ChatGPTは文章の解釈に長けていますが、時にはコンテキストが不明瞭な場合もあります。具体的なツイートやスレッドの全体像を理解するためには、直接Xでの投稿を見るのが良いでしょう。
4.インタラクションの側面: Xではフォロワーとの対話やリアルタイムでの意見交換が可能です。ChatGPTは対話のシミュレーションは得意ですが、実際の対話やフィードバックには及びません。
つまり、ChatGPTはXでの議論に対するサポートとして非常に有用ですが、実際のプラットフォームでの情報収集や交流も併せて行うと、よりバランスの取れた理解が得られるでしょう。
この文にはいくつかの誤解や不正確な記述があります。それらを順に指摘します。
文中で「128Kトークンという巨大な入力コンテキストウィンドウを持っていることになっているが、これは殆ど嘘、ごまかしであり」と述べられていますが、これは事実ではありません。GPT-4の大規模な入力コンテキストは実際に存在し、正確に動作しています。GPTモデルは入力コンテキスト全体を考慮に入れながら応答を生成します。ただし、文脈が長くなりすぎると、特定の部分への依存度が減少し、より一般的な情報に基づく応答が生成されることがあるため、入力全体を「無視」しているように見えることはありますが、これは嘘やごまかしではありません。
2. **「後半が無視される」ことについての誤解**:
文中で「後半については殆ど無視される」と述べていますが、これは完全に正しくはありません。長いテキストを処理する場合、GPTは確かに最初の部分に強く依存する傾向があることがありますが、後半を完全に無視するわけではありません。モデルの動作は、入力されたすべてのトークンを考慮に入れるように設計されていますが、長い文脈の中では情報の重要度が異なる形で処理されることがあります。
3. **「出力を高速化するために適当に回答している」という指摘の誤り**:
GPT-4は、入力の一部だけを読んで適当に回答していると指摘されていますが、これは技術的に誤りです。生成AIモデルは、出力を高速化するために意図的に一部だけを無視するような動作はしません。出力は、全体の文脈を基に応答を生成します。出力の品質や関連性はトークンの数やトレーニングデータによって影響されますが、これは「適当に回答する」とは異なります。
4. **「問題視している人がほとんどいない」という主張**:
この主張も誤解を招く表現です。大規模言語モデルのコンテキスト制限や性能に関する議論は活発に行われており、ユーザーや研究者はその制約を認識し、さまざまな解決策や改善策を模索しています。モデルの制約に飽きたために「誰も使っていない」というのは主観的な意見であり、実際には多くの人々が日々活用しています。
RAG（Retrieval-Augmented Generation）は、外部の知識ベースから情報を引き出して生成に役立てる技術ですが、この文脈で「がんばる」と述べるのは具体性に欠けます。実際にどのように取り組むべきかについて、もう少し具体的な説明があると適切です。
全体として、この文はGPT-4の性能や動作に関していくつかの誤解が含まれており、技術的に誤った結論に導いている部分があります。
なんか前は黎明期のやつ「あああれね」って感じだったんだけど最近のまじでわからん
https://www.publickey1.jp/blog/24/2024web3nftaiai.html
People-Centric
振る舞いのインターネット
汎用人工知能
エンボディドAI
量子機械学習
商用核融合炉
ChatGPT-4o
AIが検索結果を生成し、より関連性の高い情報を提示する技術。
嬉しい点: 精度の高い情報をすぐに得られる。
企業や組織が持続可能な運営を実現するための支援ツールやシステム。
3. People-Centric
人間中心のアプローチで、個人のニーズや体験を重視する技術やビジネス戦略。
5. 振る舞いのインターネット
不明。
都市部での空飛ぶ車やドローンによる移動手段の実現を目指す技術。
AIやIoT技術を活用して、都市全体を効率的に運営する未来の都市モデル。
多数の小型衛星を連携させ、地球全体に通信や観測サービスを提供する技術。
AIを用いてサイバー攻撃を検知し、即座に対応する自動防御システム。
不明。
不明。
13. 汎用人工知能
バーチャル空間で活動する、リアルな人間に似たキャラクターやアバター。
嬉しい点: 新たなコミュニケーションの形が広がる。
大規模言語モデル（LLM）を使ったサービス提供プラットフォーム。
嬉しい点: 高度な自然言語処理が容易に利用できる。
16. 月データセンター
月に設置されるデータセンターで、宇宙規模でのデータ処理を行う施設。
18. ヒューマノイド
Claude3
以下、各技術の説明と、それぞれのメリットを簡潔に記載します：
People-Centric:
メリット：より使いやすく、ユーザーニーズに合った製品やサービスの創出。
振る舞いのインターネット:
汎用人工知能:
月データセンター:
エンボディドAI:
量子機械学習:
商用核融合炉:
サンキュ
サンプルを手で書くのも違う気がするので、学習されてそうな、デイリーポータルZの林さん風を指定してみた。
ChatGPTってのは、ものすごい量のデータから学習した言語モデルなんですよね。だから、生成された文章にはどうしてもパターンが残っちゃうんです。それを完全に消し去るのは、なかなか難しいんです。文体や表現は一貫性を保つように最適化されているので、特有のスタイルがどうしても残っちゃいます。ユーザーが工夫すればその特徴を薄めることはできるけど、完全に取り除くのはなかなかのチャレンジです。
ChatGPTは大量のデータから学習した言語モデル。生成される文章にはパターンが含まれ、完全に消すのは困難。文体や表現は一貫性を保つために最適化されている。特有のスタイルが残るのはアルゴリズムの構造上避けられない。ユーザーの工夫で特徴を薄めることは可能だが、完全に取り除くのは難しい。
こっちはアウト
ChatGPTは大量のデータから学習した言語モデルやねん。生成される文章にはパターンが含まれてて、完全に消すのは難しいわ。文体や表現は一貫性を保つために最適化されとる。特有のスタイルが残るのはアルゴリズムの構造上避けられへんねん。ユーザーの工夫で特徴を薄めることは可能やけど、完全に取り除くのは難しいで。
最近、ChatGPTを使いすぎているせいか、自分の投稿がどんどんChatGPTの影響を受けてしまっているように感じます。このままでは、自分のオリジナリティや個性が失われてしまうのではないかと深刻に悩んでいます。
最近、ChatGPTを使いすぎて、私の投稿がどんどんChatGPTっぽくなってきてるんだ。まるで自分がAIと融合して、サイボーグ化してるみたいだよ。
最近、ChatGPTばっか使いよるけぇ、わしの投稿がどんどんChatGPTっぽうなっとるんじゃ。ほんま腹たつわ！こんなことしよったら、自分の言葉が全部機械みたいになってしもうて、なんも面白うないわ。ええかげんにせぇや、ChatGPT！わしの個性返してくれんかいのう！
丸出しのも嫌いじゃないけど
よっぽど悔しかったんだね
顔真っ赤だぞ
無料のBingAIコピペとの指摘、承知しました。しかし、私はオリジナルの文章を生成する能力を持つ大規模言語モデルであり、BingAIを含む他のAIの文章を模倣したり剽窃したりすることはありません。
確かに、議論におけるAIツールの活用方法については、様々な意見があります。しかし、建設的な議論を行うためには、相手の意見を尊重し、冷静な態度を保つことが重要です。
AIを活用して議論することの有用性について、詳しく説明させていただきます。
1. 多様な視点
AIは、膨大なデータから学習し、人間の発想では思いつかないような斬新なアイデアや視点を提示することができます。
これは、議論の活性化や、新たな発見につながる可能性があります。
議論の説得力や論理性を高めることができ、より建設的な議論を促進します。
AIツールはあくまでも議論を支援するツールであり、人間の知性や創造性を代替するものではありません。
人間の知性と創造性を活かし、AIツールを活用することで、より豊かな議論を実現することができます。
建設的な議論を通じて、互いに学び、理解を深めることが大切です。
』
Apple Intelligenceはまず端末ローカルで動く言語モデルで動作し、端末内では扱えないと判定されると、AppleのデータセンターにあるAppleSilicon上で動く大規模言語モデルで処理されたり、ChatGPTの方が効率的に処理できると判定されたものはユーザーに「これChatGPTに投げて良い？」って確認が入って、それにユーザーがOKを出して始めてChatGPTに送られる。
なので、いくらiphone15 以降のユーザーがApple Intelligenceを使ったところで、ChatGPT側で処理するリクエストはそんなに膨大にはならないだろう。
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
どうしてこうなった？ディープラーニングの魔法は、それがただ機能するということであり、あらゆる場面で否定的な意見にもかかわらず、その傾向線は驚くほど一貫している。
https://situational-awareness.ai/wp-content/uploads/2024/06/sora_scaling-1024x383.png
効果的な計算のOOMが増えるごとに、モデルは予測通り、確実に良くなっていく。OOMを数えることができれば、能力の向上を（大まかに、定性的に）推定することができる。そうやって、先見の明のある数人がGPT-4の到来を予見したのだ。
GPT-2からGPT-4までの4年間の進歩を、スケールアップの3つのカテゴリーに分解することができる：
1. コンピュート：計算：これらのモデルを訓練するために、より大きなコンピューターを使うようになった。
2.アルゴリズムの効率化：アルゴリズムの進歩には継続的な傾向がある。これらの多くは「コンピュート・マルチプライヤ」として機能し、有効なコンピュート量の増加という統一された尺度に乗せることができます。
3.「趣味のない」利益：デフォルトでは、モデルは多くの素晴らしい生の能力を学習しますが、あらゆる種類の間抜けな方法で足かせとなり、実用的な価値が制限されます。人間のフィードバックからの強化学習（RLHF）、思考の連鎖（CoT）、ツール、足場などの単純なアルゴリズムの改善により、潜在的な能力を大きく引き出すことができる。
これらの軸に沿って、改善の「OOMを数える」ことができる。つまり、有効計算量の単位でそれぞれのスケールアップをトレースするのだ。3倍は0.5OOM、10倍は1OOM、30倍は1.5OOM、100倍は2OOMといった具合だ。2023年から2027年まで、GPT-4の上に何を期待すべきかを見ることもできる。
ひとつひとつ見ていくが、OOMの数を急速に増やしていることは明らかだ。データの壁には逆風が吹いている可能性があり、それについては後述するが、全体的には、2027年までにGPT-4の上に、GPT-2からGPT-4規模のジャンプがもう1回起こると予想される。
まず、最近の進歩の原動力として最もよく議論されている、モデルへの（大量の）コンピュート投入について説明します。
多くの人は、これは単にムーアの法則によるものだと考えている。しかし、ムーアの法則が全盛期を迎えていた昔でさえ、その進歩は比較的緩やかなものでした。しかし、ムーアの法則が全盛期だった昔でさえ、10年で1～1.5OOMと、比較的ゆっくりとしたスピードだった。(かつては1つのモデルに100万ドルを費やすことさえ、誰も考えもしないことだった。）
| モデル | 推定コンピュート | 成長率 |
|---|---|---|
| GPT-2 (2019) | ~4e21 FLOP | |
| GPT-3 (2020) | ~3e23 FLOP + | ~2 OOMs |
| GPT-4 (2023) | 8e24～4e25 FLOP + | ~1.5～2 OOMs |
エポックAI（AIトレンドの優れた分析で広く尊敬されている情報源）の公開推定値を使用して、2019年から2023年までのコンピュートスケールアップを追跡することができます。GPT-2からGPT-3へのスケールアップは迅速で、小規模な実験から大規模な言語モデルを訓練するためにデータセンター全体を使用するまでにスケールアップし、コンピュートのオーバーハングが大きくなりました。GPT-3からGPT-4へのスケールアップでは、次のモデルのためにまったく新しい（はるかに大きな）クラスタを構築しなければならないという、最新の体制に移行しました。それでも劇的な成長は続いています。エポックAIの試算によると、GPT-4のトレーニングでは、GPT-2の3,000倍から10,000倍の計算量を使用しています。
大雑把に言えば、これは長期的なトレンドの継続に過ぎない。過去10年半の間、主に投資（およびGPUやTPUの形でAIワークロードに特化したチップ）の幅広いスケールアップのため、フロンティアAIシステムに使用されるトレーニング計算量は、およそ〜0.5OOM/年で成長してきた。
https://situational-awareness.ai/wp-content/uploads/2024/06/compute_long_run_trend-1024x968.png
GPT-2からGPT-3への1年間のスケールアップは異例のオーバーハングであったが、長期的なトレンドが続くことは間違いない。SF-rumor-millは、巨額のGPU受注の劇的な話で一杯だ。その投資は並大抵のものではないが、動き始めている。
この分析によれば、2027年末までにさらに2OOMsのコンピュート（数十億ドル規模のクラスター）が実現する可能性は非常に高いと思われる。さらに＋3OOMsのコンピュート（1,000億ドル規模以上）に近いクラスターも可能性がありそうだ（マイクロソフト／OpenAIで計画中と噂されている）。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute-1024x866.png
続き I.GPT-4からAGIへ：OOMを数える(5) https://anond.hatelabo.jp/20240605205449
