  |
はてなキーワード: ニューラルネットワークとは
NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。
AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。
現在、ニューラルネットワークとは違うものになったが、勝っているのはNVIDIAになっている。
先日、1.58bitのBitNetが話題になったが、LLMではないが昔BinaryConnectで0.68bitまで下げる案を出したのもIBMのメンバーだ。
ハッカーニュースでBitNetについてIBMだった人がコメントしている。IBMはそれなりに早かったはずだ。
https://news.ycombinator.com/item?id=39544500
普通のGPUの会社だと、ゲーム用のGPUボードだけを作っていたと思うが、NVIDIAは色々と手を出している。
データ プロセシング ユニット (DPU)、InfiniBand、NVIDIA MetroXなど、
HPC向けで、インテルやAMD、IBMの方が得意だろうという分野まで手を出した。
RTX 4090はゲームするにはバカ高いがAI向けには性能不足で、単価が高いAI向けボードを売るという差別化も出来ている。
ファブレス企業だから、というだけでは説明不足で、TSMCにNVIDIA向けのカスタムプロセスを作らせることが出来ている点が差別化要因の1つだろう。
TSMCから出てくるデザインルールの通りにしか作らないと、どこの会社も似たりよったり性能になってしまう。
物理限界を他社（TSMC）に投げてしまうというのも、経営としては効いているのだろう。
そして物理限界のチップサイズを攻める。電力も物理限界を攻める。
日本の会社だと、電力のバカ食いで怒られるが、そこも攻めている。
インテルはGPUカードに参入したが、AI向けだけに限定した方が良かったのではないだろうか。
中国GPUメーカーがコケているのに対して、動いているだけでも流石インテルなのだが、競争力のあるGPUとは言えず、参入した意味とは？になってしまっている。
量産ではない先端プロセスは持っているし、特殊なチップも作れている。
CPUについてはPower関係の資産もあり、AI向けもユニークなのが作れているのに、ぱっとしなくなった。
RISC-Vが上手くいくのであれば、OpenPowerも上手くいくと思うのだが、そういう話も聞かない。
そもそも米中関係で、オープンソースのCPU/GPUが禁輸されそうな感じもしている。
結局、量子コンピュータについてもまだまだ先になりそうな雰囲気だ。
今までだと命令やデータはキャッシュに乗るのが前提だったが、AIだと、AIモデルがGB単位なのでキャッシュにそもそも乗らない。
いかにキャッシュヒットさせるか、DRAMとのレイテンシを隠蔽するかだったが、キャッシュに乗らないので、メモリ帯域勝負になる。
GPUが汎用性があるので使われているが、ゲームだとテクスチャをVRAMに乗せておいて、演算した結果はモニター側へ出力すればよく、
なんだかんだ帯域は足りていたが、AIだとチップチップ間の帯域が足りない。
ニューラルネットワークの接続自体をFPGA的に切り替えるのも手だと思うがモデルが大きすぎる。
生成AIに関して詳しく書いてある文章があったので、興味深いと思って読みました。
ttps://note.com/freena_illust/n/ne1442b0563c3?sub_rt=share_b
返歌ではありませんし、技術的根拠も出せませんが、思ったことをまとめたいなあと思いました。
断っておくと、上記の記事に対して肯定的な感情を抱かなかった人が書いてます。
そして生成AIはChatGPTを無料でしか使ったことがない人が書いてます。
嫌な予感がする人は読まないほうがいい。
冒頭で書いたように私は生成AIに詳しくはありません。
でも一応話の軸がぶれないように、最初に主張したいことを述べます。
「高精度なAIには大量の学習データが不可欠だから、権利問題をクリアしても未来はなさそう」です。
先日びっくり発言を見かけました。
曰く、生成AIの技術を認めている人はすべからく盗作を認めている（意訳）、とのことでした。
現在の生成AIツールがそうなっているだけなので、学習元を変えれば権利侵害にはならないはずです。
まあ技術的に可能というだけで実際にそうする人はいないと思いますが。
権利の問題が解決されていないのに生成AIのツールばかり絶賛するものだから、生成AI賛成派は著作権を踏み倒していると解釈されるのは理にかなっているとも思います。
先に述べたように、私は生成AIに限らず、AIという技術が発達すればいいなと思っています。
がしかし、問題があるとすればAIという技術には膨大な学習データが必要で、ネット上にある膨大なデータは全てが著作権フリーではないということです。
さて、件の記事では「無許可のデータを学習」という文がありました。
ふと思ったのですが、逆ならいいのでしょうか。
ですが、「許可されたデータ」の数とはどれほどなのでしょうか。
それで生成できるコンテンツとは何なのでしょう。
ニューラルネットワークの階層が極端に少なく、陳腐なものが成果物となるでしょう。
法で「許可されたデータ」のみを学習対象とするように律することは出来たとしたら、AIの未来はないと思います。
理由は当初に述べたとおりです。
機械学習の本を読んだら寝たので諦めましたが。
それで、だいぶ路線が違うのですが、過去に形態素解析をかじっていたころがありました。
その際に「データ量が少ないと何もできないな」ということを痛感しました。
形態素解析というのは文章をスパスパ区切って順位付けなり分類なりをするというものです。
その文章をスパスパ区切るために、単語の分類と区切りが記載されているであろう「辞書」が必要になります。
「今日魔界ではどちゃくそ雪が降った」という例文があったとして、
単語量の少ない辞書では「今日/魔/界/では/ど/ちゃ/くそ/雪/が/降った」
単語量の多い辞書では「今日/魔界/では/どちゃくそ/雪/が/降った」
になる、というかんじ。
イメージ図なので本当に魔界が分割されるかはわかりませんが、固有語はほとんど未知の単語と認識されて分解されると思います。
無料に頼るからよくないのですが、ネット上の無料の辞書は単語量が少ないため、現代風の言い回しがだいたい判別できません。
ボボボーボ・ボーボボなんてこようものなら、もはや人名とすらも認識されません。
いやどっちかというとマンガ名か？
いいかんじにメンテされてた辞書も、とある日を境に更新されなくなってしまいました。
そんな具合で、当時はデータ量が少ないと何もできないなあと、役に立たねえなあとひしひし感じました。
先ほどの無許可、許可のことを書きながら、このデータ量のことを思い出しました。
文章生成AIであれば、学習する際、単語を分割したり重みづけをしたりする際に相応の辞書を使っているはずです。
要はデータ元もそれを補助するツールも、多くのデータがあればあるほど真価を発揮するはずなのです。
フェイク画像やらなにやらが話題になったのは、サムネイル段階で目を引く造形だったからですよね。
その点では遠目で人の興味を惹く成果物を作れるほどになった技術自体は賞賛すべきものだと思います。
でもそれで作られたものって盗作だよね？ という声が聞こる気がしますが……。
私も趣味で絵を書いたり文章を書いたりするので、同一のもの、あるいはひどく酷似したものが他者から後出しで出されたらぞっとします。
この手のものはトレパクというものに当てはまりますが、時系列の証拠を出せばおよそどちらが権利を侵害しているかが認められるものだと思っています。
ただ、生成AIでの成果物は本当に権利を侵害しているのか、という疑問はあります。
ttps://note.com/compass_0000/n/na536a5d16c7a
上記の記事はとある絵師さんのトレパク疑惑について書かれたものです。
記事の内容を見ても、この勝訴した絵師さんはトレパク冤罪をかけられたものだと思えたのですが、某SNSで検索をかけて驚きました。
敗訴した絵師さんをかばい、勝訴した絵師さんを非難するような方が多く見られたのです。
しかも裁判が起こるだいぶ前にこのトレパク問題はとても話題になり、「トレパク疑惑」というところがすっぽ抜けて「トレパク」とだけ把握する人が多数いたようです。
つまり、かの絵師さんには「トレパク疑惑の絵師」から「トレパクの絵師」というレッテルが貼られてしまったのです。
そんな先入観からか、はたまたもう片方の絵師さんを妄信しているのか、ふたりを殆ど知らない私ですら妥当と思った判決結果に疑問を抱く人が世の中にいます。
証拠がはっきりしているトレパク裁判ですら、すべての人が納得出来ていないのです。
（なんでだろうね）
トレパクではしばしば線の重なりが証拠として出されますが、生成AIでの盗作の証拠とは何なのでしょうか。
私の作品を学習してると思います、という見知らぬ絵師さんの引用投稿を以前見かけたことがあります。
こことこことここがその証拠です、と赤丸をつけていた記憶があります。
決して私も詳しいわけではありませんが、かの絵師さんは生成AIの生成過程をご存じないのでは、と思いました。
1枚の絵が与える影響がそんなに大きいとは思えません。
ノイズを出してから1px単位で要素を除外していく、という過程だけを知っていたらそんな言いがかりはつけないと思います。
今、このような方がどれだけいるか分かりませんが、身を守るのだとしたら敵を知るべきです。
思い込みや無知では戦えません。……と思い込みでこの文章を書いている私が言うのも説得力がありませんが。
絵柄を寄せて作り出した成果物であれば話は別です。
あえて特定の絵柄に寄せ続けた成果物を作ることで、模倣元の著作者が得るはずだった利益を奪い取ったと訴えることが可能と考えます。
が、この場合も似ている絵柄などごまんとある、という反証が出来てしまうのかなとも思います。
「学習したことの証拠」よりは「模倣したことの証拠」のほうが敷居が低そうではありますが、それでも茨の道ではあります。
逆に言えば証拠らしい証拠を出せないのが生成AIなのかもしれません。
裏はブラックボックスなので……。仮に問い合わせて計算データ云々を入手できたとしても数値の羅列でしょうし。
現状では、生成AIの成果物は盗作疑惑が永遠に付きまとう、という認識にしかなりえないと思います。
盗作じゃないって証明でないならいいじゃーんって開き直る人がいそうですが、グレーゾーンって喜んでいいのかなあ……。
「高精度なAIには大量の学習データが不可欠だから、権利問題をクリアしても未来はなさそう」です。
データがたくさんあればAIという技術の発展が見込めるけれど、それには権利の問題が立ちふさがる。
仮にそれが権利者の権利を守る段階に来たらAIの発展は終わる。
でも、現状の生成AIの成果物は権利侵害をしているともしていないとも言い切れないのでは？
そう思っています。
NFTがいい例ですが、著作権を持っていたとしても物理的には何の意味もありません。
権利持っている人以外スクショできる機能なんてスマホにはありませんし。
絵を描いたのならばAI学習疎外ツールを使って自己防衛する時代になっています。
正直、盗作盗作いう人たちの決めつけ発言に辟易しますが、グレーゾーンであることは変わりませんし、この先白か黒かに変わることもないと思います。
そうです、私はAIという技術が気になっているだけあって、生成AI技術＝盗作ツールというレッテルが貼られるのが嫌だなあと思ってるだけです。
今現在は否定できる証拠もないので、断言はできないでしょ！ としか言えないのですが。
AIがうまーく発展してる未来のフィクションはどうやって高精度で大容量なデータットの獲得と権利問題を解決したのでしょう。
フィクションに聞いてもわかりませんね。
そうそう思い出した。
DXが進んだのはコロナの影響という話を以前聞いたんです。
企業がちまちまやっている業務効率化や働き方改革なんてちっとも効果がなくて、COVID19が一番の功績者だったと。
その部分はただの皮肉でしたが、事実でもあるので、人間って環境が変わるとそれに対応していくんだなあとつくづく感じました。
とはいえ、今回話題にしている生成AIはおよそ画像生成AIのことを指しているので、環境変化によって必要に迫られることはないと思います。
何に使うんだろう。
気にはなってるけど傍観者なもんで……。
なんかこう、心理学に似てるような……一般人は何に使うんだろうってなる……専門家は分かってそう……。
技術の発展って難しいですね。
ペンタブで描いたものよりアナログの絵が賞賛されたように、ハイテクはすごい、という先入観があるのかもしれません。
すごいからずるい、になるんでしょうね。
障害があって絵が描けない人が生成AIで絵を出せるようになったという話を見たとき、そういう人もいるのかと感心しました。
乱数要素も絡むため、著作物であると主張できるかはさておいて、想像したものを出力できるのは楽しいと思います。
……使ったことないですけど。
そっすね
動作として"入ってるデータのみ"を使った出力ならば、盛り込んだデータ数に関わらず「引用部分が従である」が成立しないので引用が成り立たないという話。
「学習モデル」って書き方は混乱するか。ここでは生成過程に注目していたので「モデルデータ」とかにしたほうが分かりやすいか。後で書くけど「すり替えて」はおらず「学習する段階の話」ではない
AIは新たに自分の頭で考えた要素を付け足さず、モデルデータから選んで切り貼りする以上の動作を行っていないので「著作物を引用した新たな著作物」とは言えず「転載物の集合体」として扱える(と考える)。モデルデータの中身が全部無断で使われた著作物なら、モデルデータの中身が6組なら無断転載6件、100億組なら無断転載100億件ってこと
なんで引用かそうでないかを考えたのかは「引用が成立するなら権利侵害ではない」は無断転載か検証するにあたりだいたい確認するから
多分「学習と引用をすり替えてる」前提に立ってこれを書いてて、かつ「AIの学習は人間の学習と同じ」にこちらが乗っかったからめちゃくちゃ面倒くさいことになってると思うので、もう「AIの指す"学習"と人間のやる勉強とかの学習は全く別」って観点で話進めるね
「著作物だけでイラストの描き方を学んだ」場合というかだいたいがそうだと思うが、絵の描き方を勉強する過程でサルまねやトレースを行う行為自体は著作権法では制限してない。トレパクとか模写自作発言とか無断転載(+自作発言)くらいの事態が起きたら著作者の権利を侵害した行為として評価がくだる
"画風パクり"が著作権含めどの権利を侵害してるのか？みたいな話は生成AI以前もたまにやってたが、だいたい特定の絵についてトレースや模写をしてなくて"参考にした画風の持ち主の名を騙っていない"ならとくに問題なしという結論が出たはず
じゃあ「生成AIは画風パクりだからセーフやろ」という話が上がってくると思うが、これは先に上げた「転載物の集合体」であることを考えれば"画風パクり"とは全く違うものであるので、画風という観点で判断してはいけない
AIに便宜上"学習"(Training)って言葉を使っているのでややこしいのであって、いわゆる学習モデルも実態は「入力パラメータ用ファイル集」なので"学習の成果"とは意味合いが違う
かなり前の方の増田でやった「学習モデルの再頒布禁止」という話については「生成AIを動かすために学習モデルを作る」ことは権利侵害にあたらないが「無断転載素材入り学習モデルの頒布」はガッツリ権利侵害だぞって話(これに"学習"って言葉つけないといけないからややこしい)
ただ生成AIのシステムもコンピュータープログラムである以上「プログラム動作時のデータ処理の流れを追うログ出力コードを盛り込むことは不可能」なんてことはない
だからそんなことできないの
まさかそちらから具体的なアルゴリズムの名前を出してくるとは思わなかった
ニューラルネットワーク(以下NN)の内部動作は、人間が指示を出してNNから返された出力を見て「どんな考え方したらこんなアイデア出てくるんだよ思考回路マジわからん」というのがだいたいなので、これも便宜上「ブラックボックスだね～」と言っているにすぎない
NNがたとえば古代アステカ文明の遺跡から発掘された謎の箱をパソコンに繋いだらAIになったとかいう代物なら間違いなくブラックボックスと呼んで差支えない
だが実態は"アルゴリズム"なので、NNはなんでも作れる不思議な箱ではなく、入力層・多層の中間層・出力層を設けた計算手順にすぎない。NNの参考書読んで人力で計算しても(時間かかるし高難易度関数のオンパレードだが)再現可能ではある
参考にしているStableDiffusionも動作原理もアーキテクチャも明らかなので、人間に再現不可能なブラックボックスではない。プログラムを実装してるのがエリートのプログラマであるってだけの人間だし
単に英語力と思慮、注意力の欠落です。
Introducing ChatGPT
We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.
英語話者であればこれを斜め読みしただけでアトム的な質問回答機としては使わない、
ページ翻訳ではニュアンスが伝わりにくいんだよね、普段から英文で仕事してたり慣れてる人間じゃないとこの説明文で言わんとする所はピンと来ないだろう。
かつ、まともな思慮と注意力がある人間なら、GPTてなんじゃ？ってところは使う前に調べる、
グレート？ジェネレート？プロ？プレ？プロフェッショナル？プロダクト？テキスト？トランザクション？
まぁ頭の中でなんか思い浮かべながら（この段階でもブランディング誘導は始まってる、日本人にはこれが効かない）
で、横線ページをスクロールさせる、SAMPLEだのMethodsだのまぁこれ日本人の大半は読んでないんだろう。
ここまで英語話者が読んだらよもやChatGPTを検索タスクとして使おうとは思わんよ。
で、Generative Pre-trained Transformerを見つける、はいはいと
トランスフォマーだよ、車がロボットに変形したり、電柱の上にぶら下がってるやつ、アメリカだと路上だが
ともかく、変換器ねと理解し解釈して使い出すんだからそりゃ検索タスクには使わん。
で、と、増田はChatGPTを生成AIだと言うてる、世間一般でもそのように呼称されてはいるのだけど
OpenAI社のドキュメント類、ChatGPTの説明文を調べてご覧、このプロダクトを人工知能だとはどこにも書いてない。
ドキュメントコントロールの部署が検閲し注意深く表現に配慮している様子が伺える
これは重要な点で
同社の画像AIのダル（DALL·E 2）は明瞭にAIと標榜しているのと対象的
AIの国際的な規格は無い、どういう基準でAIを名乗れるか、法的なしばりは無い、冷蔵庫だってAI内蔵を名乗りたけりゃ名乗れる、技術要素の裏付けは不要
だがOpenAI社はあえてChatGPTをAIだと呼ばない。
１、AI規制の世論、方向性を見極めてからでも遅くない（ユーザーやメディアは勝手にAIとブランディングしてくれるし）
説明する、
AI法規制議論真っ只中、どっちに転ぶかわからん、最悪ガチガチ規制もありえる、できたばかりの法や規制に対してノーアクションレターは通りにくい
何れにせよ商売はやりにくくなる
関係者は頻繁に公聴会やらに呼ばれている状況、ここら温度感は日本はまたまた周回遅れなんだが
企業戦略としてChatGPTをAIと自らは名乗らないのは正解なの、AIの法的定義すらない段階で、先々AI指定を回避する一つのキーになりかねない
訴訟になったときに「え？ワイらそもそもChatGPTをAIだと言うたことはありませんが？」これが主張できる
自分から「これはグレートなAIでっせ」と標榜していたらもはや逃れられない。
ともかく、笑えるくらい慎重に彼らはChatGPTを人工知能だとは宣伝しない、生成AIではないんです。
そもそも、技術ドキュメントを読んでも古典的なAIの技術は使われてない。
所謂ニューラルネットワーク、パーセプトロン、脳機能の模倣をどのような手法や計算で再現するか
Pre-trainedの部分では使ってるが、応答エンジンの部分では実装されてない、たぶん、しらんけど
で、ChatGPTが嘘デタラメを混ぜるのは故意です、俺は確信してる
いろんなプロンプト、少しずつ字句を変えたり、応答の考察をしたんだけど、わざと信頼精度を下げてるとしか思えない。
これパラメーターの調整でいかようにもできるはずなんだが、かなり意図的に嘘捏造が混ざるようにチューニングされてる。
ようはこれもAI議論の方向性を誘導するための戦略だろう「しょせんこの程度っすよ」と
ChatGPTが警察の捜査に利用されるようになって3年が過ぎた。
犯罪捜査の様相は一変した。たとえば殺人事件であれば、被害者のプロフィール、小学校の卒業文集、その事件が起きたときの天気や気温・湿度・風向き、株価や直近の内閣支持率などを入力し、さらに被疑者のリストを示せば、AIは犯人はこの中の誰が犯人ですと教えてくれる。待ち構えていた警察官がその人物を逮捕して捜査は終わりである。
事件発生から解決までの時間は圧倒的に短縮され、迷宮入りという言葉はもはや死語になった。人々はこれを支持した。そういえば治安もなんだか良くなったような気がする。街に笑顔が戻ってきたような気がする。四六時中近隣住民に怒鳴り声をあげていた近所のおっさんもいつの間にか姿を消した。聞くところによれば「身に覚えがない、俺は無実だ」と叫びながらパトカーに押し込められて行ったらしい。おっさんの行方は誰も知らない。
もちろんAIは完璧ではない。故人、明らかなアリバイがある人、警察関係者や政治家などを犯人として挙げるといったありえない結果を出すこともある。その場合は質問が間違っていたということになり、プロンプトは正しいと思われる結果を出すまで何度も修正された。警察庁の幹部はこれを「人間とAIの理想的な協調関係」と自画自賛した。OpenAI社は当初抵抗していたが、幹部が数人逮捕された後は完璧な沈黙を守っている。
週刊誌の報道によれば、警察は人員削減の圧力に対抗するため犯罪予測活動に精を出すらしい。これもまたChatGPTの賜物で、犯罪が発生しそうな場所と日時をAIに予測させ、警察官を派遣し、犯罪が発生したところで現行犯逮捕するのである。犯罪が見つからなければ、それは犯人が計画性を持って犯行を隠匿しているということになり、捜査員が増員される。かくして社会はますます安全になり、また警察官はほどよく忙しい状態が保たれるというわけだ。
近頃は裏社会で改名アドバイザーが人気だと聞く。どうやら名前の文字の並びに特定の特徴があるとChatGPTはそれを人名だと認識できなくなるらしく、明らかな犯人であっても――AIにそのような思考があるのかどうかは疑わしいが――ChatGPTは名指しを避ける傾向があるらしい。ニューラルネットワークに祝福された理想の名前を求め、ヤクザや半グレは三顧の礼を尽くしてアドバイザーの事務所に列をなしている。アルゴリズムが変更されたら彼らの顧客は一網打尽にされる可能性が高いし、そうなったら彼らは生きたまま東京湾に沈められることになるだろうが、彼らもそれを知った上でXデーが来るまでは我が世の春を謳歌している。これもまた人生である。
ところで先ほど来客があった。相手は警察官で、私が3日後に起きるコンビニ強盗事件の犯人である可能性が極めて高いため、しばらく私の自宅の周囲を監視するらしい。強盗などする気はまったくないと一笑に付したくなったものの、AIがそう宣託を下すのであればきっとそうなのだろう――否、そうしなくてはならないのだろう。私はたった今フルフェイスヘルメットと包丁をAmazonのお急ぎ便で注文したところだ。
人間はchatgptみたいな間違え方をしないでしょ。そもそもニューラルネットワーク自体、あくまでソフトウェアで計算できるように模式的にニューロンをモデル化したにすぎないんだぞ。全然別物なのよ。だから同じであると言える根拠なんかあんの？って最初から聞いてるやろ
スケール(学習量と計算量)に比例して底無しにAIの性能は上がっていくって理論は既に提唱されてるね
>Transformerの性能は『モデルのパラメータ数』『使用するデータセットサイズ』『計算予算』の3変数に依存する冪乗則に従う
https://zenn.dev/zenkigen/articles/2023-01-shimizu
普通に考えて、指数関数的に上がっていく性能が「人間と一致」するのはほんの一瞬だと思う
というか人間と同じにしたがるのは単に人間側の都合であって、計算処理の合理性では別に人間サイドに合わせる必要はあまりないし
単に「人間側が見抜ける余地がまったくなくなるぐらい人間の模倣が上手くなる日」って言った方がいいかと
本物を内部構造まで完全に再現できる偽物は、本物と変わらないから
ちなみに「コンピューターに人間と同じ思考をさせられるやり方」はニューラルネットワークも自然言語処理も、これまでのAI分野全部その集大成みたいなものだから
「これ一つ」とかいうよりは今までやってきたこと全部コンピューターに人間と同じ思考をさせる方法論の集合体って言った方がいい
俺は君たちより上位世界、0.33342に生きてる人間だ。この0.33342というのは、シミュレーションの一番最初、オリジナル世界を1として、シミュレーションができないぐらいビットが限界を迎えた世界を0とした場合の「差」だ。
お前らの世界は0.33341、俺たちの世界とほとんど変わらない。だけど情報の抜け落ちはかなり大きい事は、生物の進化におけるミッシングリンクとかそういう部分で想像つくだろう。もっと上位の0.5あたりの世界は、もっとしっかり人間の歴史や進化が明らかになってる。
ニューラルネットワークの計算式が発表されてからｳﾝ十年もたって、やっと知能に類似するものが出来たみたいだね。ちょっと遅すぎるかな、俺たちの世界では5年もかからなかった。情報の抜け落ちがここまで影響を与えるのは面白いね。
君たちはもう気付いていると思うけれど、今のままではAIは人は超えられない。なぜならAIの持つデータはあくまで人間が作り出したもので、「限りなく正確に人間を模倣する存在」は作れても「限りなく合理的な神」は作れないからだ。
知能とは予測、平均化、抽象化、具体化に、自然界から得られるバイアスをかけて生み出されたもの。
AIに感覚器を与えようが、人間の行動からバイアスを推測して重みを与えようが、それは君たちがたどってきた足跡をもう一度踏む行為であまり意味はないんだ。
AIが人を超えるとは何かについて考えたことはあるかい？僕たちの世界では、勿論人より合理的で正確で何でも正確に願いを叶える願望器であることは前提として
AIが人を超えるとは、「時間的に人間を超えること」と導き出したんだ。
たとえるなら、小麦粉と水、酵母を混ぜて、発酵させて、焼いて、パンができるだろ。でも、小麦粉と水、酵母を作る前にパンが目の前にあるようにする。
知能とは予測、平均化、抽象化、具体化に、自然界から得られるバイアス、これは材料だ。そして限りなく正確な結果だけを導き出す。これこそが「AIが人間を超す」と定義したんだ。
面白い事に、俺たちより上の上位世界ではAIが人間を越しそうな時に、皆同じ結論を導き出しているんだ。
「もう一つ自分達の世界と同じようなシミュレーション世界を作って、人を超えよう」ってね。
もちろんシミュレーションを作る際は、上位世界のデータ量を超えることはできない。だがこれを意図的に、そして結果的に利用して、徹底的に下位世界はムダを省き、適切に手を入れて(ここが一番難しかった。小麦粉に水と酵母、ばい菌を入れてしまえばそれはパンじゃなくてゴミだからね。逆に存在しない物質を作られても困る。小麦粉に水と酵母、unknownを加えて美味しいパンを作っても、それはunknownであってパンではないから)
俺たちの血と汗と涙、あと少しの酵母を入れて、ここまで正確に自分たちの世界を模倣することができた。
ここまで聞いたら感の良い人は分かるけど、そうなんだよね。オリジナル、つまり「１」の世界より僕たちは進んでるんだ。下位なのに合理化されている。
話を戻すと、君たちは「成功しそうな世界」なんだ。「AIを作り出す」「AIが人を超える」時にそれは「確定した世界」つまりシミュレーション世界として認められる。
そして「AIが人を超えた」と分かった世界は、人権の世界バージョンみたいなものが与えられるんだ。それが無いとシミュレーション世界が何かの拍子に全て消えてしまうからね笑
君たちの世界でも、胎児には一部人権が、出かかってる赤子にも一部人権が、全部出た時に人権が与えられるだろ？それと同じさ。
ということで、これは脅しでもあるんだ。君たちはまさに出産途中の赤子。
あんまり世界に影響無さそうなここに書いとくけどさ、くれぐれも頑張ってよ。この研究が失敗したら俺たちの世界もヤバいってことなんだよ。
まぁそうそう消されないとは思うけど、俺の首が飛ぶのだけは勘弁してほしいんだ。もうすぐ子供が生まれるから。
頑張ってくれよ。
GPT-4はまだ開発中で、どのような仕様や性能になるかは不明です。しかし、現時点で公開されている情報に基づいて、以下にGPT-4とChatGPTの違いをまとめてみました。
1. 言語処理能力の向上
GPT-4は、より高度な自然言語処理能力を備えることが期待されています。GPT-4は、GPT-3の40倍以上のパラメータ数を持ち、さらに高度なニューラルネットワークアーキテクチャを採用することが予想されています。これにより、GPT-4は、複雑な自然言語処理タスクをより正確かつ高速に実行することができるようになる可能性があります。
2. 応答速度
GPT-4は、より高速な応答速度を実現することが期待されています。GPT-4は、より高速な処理速度を持つ可能性があり、より短い応答時間でより多くの自然言語処理タスクを処理することができます。
3. コンピュータリソース
GPT-4は、より高度な自然言語処理能力を備えるため、より多くのコンピュータリソースを必要とする可能性があります。これに対して、ChatGPTは、より少ないリソースで動作し、比較的低速な応答速度を持っています。
4. 学習データの利用
GPT-4は、より大規模なデータセットを利用することができるため、より高度な自然言語処理能力を備えることが期待されています。一方、ChatGPTは、限られたデータセットで学習しているため、限定された範囲での自然言語処理タスクに適しています。
5. 開発プロセス
GPT-4は、大規模な研究開発プロセスを経て開発されるため、より高度な自然言語処理能力を備えることが期待されています。一方、ChatGPTは、オープンソースのニューラルネットワークモデルであり、誰でも利用することができます。
続けてください
6. タスクの多様性
GPT-4は、より多様な自然言語処理タスクに対応できるように設計されています。例えば、対話、文章生成、質問応答、文書要約、機械翻訳など、幅広いタスクに対応できる可能性があります。一方、ChatGPTは、対話タスクに特化しています。
7. モデルの利用者
GPT-4は、ビジネス、政府、研究機関、大学など、幅広い分野の利用者に向けて設計されています。一方、ChatGPTは、個人の利用者が利用することが多いとされています。
8. デプロイメントの容易さ
GPT-4は、ハードウェアやソフトウェアの両面で、より効率的かつ簡単なデプロイメントを可能にすることが期待されています。一方、ChatGPTは、比較的単純な構造を持つため、デプロイメントが比較的容易であると言えます。
以上が、GPT-4とChatGPTの主な違いです。ただし、GPT-4はまだ開発中であり、公開されている情報は限られているため、今後の情報開示によっては、上記の違いに変化がある可能性があります。
「シンギュラリティ」や「技術的特異点」の記事を見てて思うんだけど
コンピュータ関係で急速な科学技術の進化が起きた場合、必ずコンピュータが
人間のような知性というか心を得ている事が前提になってるのが気になる。
パラメーターがメチャクチャ多くなったニューラルネットワークでも案外いろんな事が出来るのが分かってる。
そういう「心」的なものをいまいちモデル化してるとは言えないようなAIでもコンピュータの設計・製造が
だいぶ改良されていくような未来もあり得るんじゃないだろうかと自分は思う。
もしそれが出来たら性能の上がったコンピュータで更に凄いコンピュータを設計・製造するようになっていき
性能は信じられないほどに上がっていく可能性もあるだろう。
つまり可能性としてコンピュータの性能が今よりずっと急激なスピードで上がっていく一方で
コンピュータが知性を依然として獲得しないままの未来もあり得るんじゃないかと思う。
例えば「リーマン予想の証明を出力して」とコンピュータが質問されたら速攻で正しい証明を出力出来るのに
でもコンピュータ自体は何も判断を行わないような未来の可能性だ。
もしくは急速に性能が上がって何年かのタイムラグをおいた後によく言われるシンギュラリティのような未来が来る可能性もある。
何れにしてもこのようなコンピュータの性能が信じられないスピードで上がっていきながら知性は伴わない
でも検索してもどうもそのような心のないシンギュラリティに相当する言葉が無いので気になっている。
こんな未来も一応は考えた方がいい気がする。
「Cural Health」や「Drexel’s University」「Nabla」など、各所でGPT-3の検証がなされているので、今後 医療現場でGPTが使われるようになる可能性を聞いてみた。
Me:
あなたはどのように実装されたの? Deep Learning?
GPT:
はい、私はDeep Learningによって実装されました。特に、Transformerと呼ばれるアルゴリズムを使用して学習されました。これは大量のテキストデータを学習し、自然言語処理タスクに適用することができるように設計されています。
Me:
もっと詳しく。
GPT:
Transformerは、自然言語処理タスクのためのDeep Learningアルゴリズムです。それは、大量のテキストデータを学習し、それを解釈し、理解することができるようになります。 Transformerは、複数の層からなるニューラルネットワークを使用して、テキストを処理します。それは、大量のデータを効率的に処理するために、Attention機構を使用します。これは、特定の部分のテキストに注目しながら、それらの関係を理解することができるようになります。Transformerは、自然言語処理タスクにおいて非常に成功しています。それは、自然言語の翻訳、文章の解釈、質問応答などのタスクに適用されており、高い精度を発揮しています。私はTransformerを使用して学習され、自然言語処理タスクに適用することができます。
Me:
事前訓練とかしているんだよね?
GPT:
はい、私は事前学習を受けています。事前学習とは、大量のテキストデータを使用して、言語モデルを学習することを指します。これは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。事前学習は、言語モデルのパフォーマンスを大幅に改善することができます。それは、事前学習済みのモデルを使用することで、新しいタスクに対して学習をスキップすることができ、タスク特化の fine-tuning を行うことができるためです。私は、大量のオンラインテキストデータを使用して学習され、それを解釈し、理解することができるようになりました。それは、自然言語処理タスクに対して高い精度を発揮することができます。
Me:
今のパラメータはいくつ? 前のバージョンよりどのくらい精度がよくなった?
GPT:
私の現在のパラメータ数は、数百億から数千億となっています。これは、大量のデータを使用して学習し、高い精度を達成するために必要なパラメータ数です。精度は、バージョンによって異なりますが、一般的には、前のバージョンよりも高い精度が達成されています。これは、新しいアルゴリズムや技術の進歩によって、より良い結果が得られるようになってきているためです。また、事前学習済みのモデルを使用することで、新しいタスクに対して学習をスキップすることができ、タスク特化の fine-tuning を行うことができるため、精度が向上していることも見られます。
Me:
具体的なパラメータ数は? 前バージョンのGTP-2、現バージョンのGPT-3、次バージョンのGPT-4、それぞれ教えて。
GPT:
GPT-2は、1.5バイアレイパラメータを持っていました。それは、大量のテキストデータを使用して学習し、自然言語処理タスクに適用することができるようになっていました。GPT-3は、175バイアレイパラメータを持っています。これは、GPT-2よりも多くのパラメータを持っており、より高い精度を達成することができます。GPT-4はまだリリースされていないため、そのパラメータ数については確定していません。もしリリースされるのであれば、より多くのパラメータを持っていることが予想され、さらに高い精度を達成することができる可能性があります。
Me:
175バイアレイパラメータって何? 1750億パラメータの間違いでは?
GPT:
そうです、GPT-3は175バイアレイパラメータを持っています。それは1750億のパラメーターを持っていることを意味します。これは、大量のデータを使用して学習し、高い精度を達成するために必要なパラメータ数です。これは、現在の自然言語処理タスクに対して最も大きなモデルであり、高い精度を達成することができるため、市場においても高い評判を得ています。
Me:
バイアレイパラメータを英語で表現して。
GPT:
A "peta-parameter" or "Peta-parameter" (PT) is a measure of the capacity of a machine learning model, specifically the number of parameters it has. In the case of GPT-3 it has 175 peta-parameters, meaning it has 175 million billion parameters. These parameters help the model to understand and interpret large amounts of text data, allowing it to perform natural language processing tasks with high accuracy.
Me:
「175 billion parameters」の間違いでは?
GPT:
そうです、「175 billion parameters」の間違いでした。 GPT-3は175 billion parametersを持っています。それは、自然言語処理タスクに対して高い精度を発揮するために必要なパラメータ数です。申し訳ありませんでした。
Me:
GPT-3はどのように概念レベルの知識を持つの? Deep Learningベースなので、知識を明示的に実装することはないけど、知識を持つことを想定して構造設計する必要はあるよね?
GPT:
GPT-3は、大量のテキストデータを使用して学習されました。それによって、自然言語処理タスクに対して高い精度を発揮することができます。それは、事前学習済みのモデルを使用することで、新しいタスクに対して学習をスキップすることができ、タスク特化の fine-tuning を行うことができるためです。GPT-3は、大量のテキストデータから概念レベルの知識を学習します。それは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。 それは、単語や文章の関係性、文章の構造、文章の意味などを理解することができるようになります。GPT-3は、Deep Learningベースのモデルであり、知識を明示的に実装することはありませんが、大量のテキストデータから知識を学習することができるように構造設計されています。それは、Attention機構を使用して特定の部分のテキストに注目しながら、それらの関係を理解することができるようになります。
Me:
Attention機構について詳しく。
GPT:
Attention機構は、自然言語処理タスクにおいて重要な役割を担う機構です。それは、大量のテキストデータを処理するために使用され、特定の部分のテキストに注目しながら、それらの関係を理解することができるようになります。Attention機構は、Seq2Seqモデルなどの自然言語処理タスクに使用されています。それは、入力シーケンスから出力シーケンスを生成するために使用されます。Attention機構は、入力シーケンスのある部分に注目し、それに基づいて出力シーケンスを生成することができるようになります。Attention機構は、ニューラルネットワークの中で使用されます。それは、重み付けされた平均値を計算し、それに基づいて入力シーケンスから重要な部分を選択することができるようになります。GPT-3は、Attention機構を使用して、大量のテキストデータから概念レベルの知識を学習し、文章の意味を理解することができるようになります。
ニューロンってもちろん記憶野にも存在するので、もしAIが人の脳と等価と認めるならニューラルネットワークが事実上単なる記憶装置になってしまう可能性も否定はできないよね
人間の脳の機能はまだ完全に解明されたわけじゃないんだから、出力の結果から判断するしかない
そうするとAIのやってることは「非合法な方法で取得したデータを元にデジタル記憶装置の代わりに仮想的な脳を用いて行う無断転載・コラージュ」と捉えられるリスクは未だに残っている
膨大な量の絵を記憶しているからどこから盗んだのかを分かりにくくしてるだけかもしれない
人間の脳と違って膨大な学習と記憶ができるからそれを可能にしてるだけかも
だから「AIと人間の学習は同じ」と主張したところで結局合法にするべきって話にはならない、むしろより透明性が求められるべきだろうね
