「ニューラルネットワーク」を含む日記 RSS

はてなキーワード: ニューラルネットワークとは

2024-03-19

anond:20240319092902

AI勉強したことあって紙の上で計算できるけど

人間にいつかは追いつくのかもしれないけど今のAIというかニューラルネットワーク人間の脳を模倣してるわけではないで

刺激に合わせて変化する神経細胞「的」なものを使ってるだけで構造とかは全然違うしそもそも人間の脳の構造はよくわかってない

2024-03-13

anond:20240313124851

俺は高校理系大学なぜか文系プログラマだけど

数学使ったのなんてニューラルネットワークやった時に微分線型統計くらい?

これは学び直した

他はほぼいらんだろ

アルゴリズムデータストラクチャも情報科学の基礎だけどほとんどは高等な数学はいらんし

逆にDDDとかOOとかなんかは数学できてもちゃんと作ってきた経験がないとまともに出来ない

2024-02-24

AI向けでコンピュータアーキテクチャは変わるのか?

今までだと命令データキャッシュに乗るのが前提だったが、AIだと、AIモデルGB単位なのでキャッシュそもそも乗らない。

いかキャッシュヒットさせるか、DRAMとのレイテンシ隠蔽するかだったが、キャッシュに乗らないので、メモリ帯域勝負になる。

GPU汎用性があるので使われているが、ゲームだとテクスチャをVRAMに乗せておいて、演算した結果はモニター側へ出力すればよく、

なんだかんだ帯域は足りていたが、AIだとチップチップ間の帯域が足りない。

ニューラルネットワーク接続自体FPGA的に切り替えるのも手だと思うがモデルが大きすぎる。

AI入力も、文書の要約みたいなもので、データの広い範囲で「文脈」を理解しなければならず、広いメモリ空間を参照となる。

メモリ局所性からかけ離れている。

2024-01-10

生成AIのこと

生成AIに関して詳しく書いてある文章があったので、興味深いと思って読みました。

ttps://note.com/freena_illust/n/ne1442b0563c3?sub_rt=share_b

返歌ではありませんし、技術根拠も出せませんが、思ったことをまとめたいなあと思いました。

断っておくと、上記記事に対して肯定的感情を抱かなかった人が書いてます

そして生成AIはChatGPTを無料しか使ったことがない人が書いてます

そうです、あいあむ無知……。

嫌な予感がする人は読まないほうがいい。


最初

冒頭で書いたように私は生成AIに詳しくはありません。

最近話題になってるなあと思ってるくらいの人間です。

なので多分脱線をたくさんします。

でも一応話の軸がぶれないように、最初に主張したいことを述べます

「高精度なAIには大量の学習データが不可欠だから権利問題クリアしても未来はなさそう」です。


盗作ツールとして名高いらしい

先日びっくり発言を見かけました。

曰く、生成AI技術を認めている人はすべからく盗作を認めている(意訳)、とのことでした。

現在の生成AIツールがそうなっているだけなので、学習元を変えれば権利侵害にはならないはずです。

まあ技術的に可能というだけで実際にそうする人はいないと思いますが。

権利問題解決されていないのに生成AIツールばかり絶賛するものから、生成AI賛成派は著作権を踏み倒していると解釈されるのは理にかなっているとも思います

先に述べたように、私は生成AIに限らず、AIという技術が発達すればいいなと思っています

しかしそれと盗作を認めることはイコールではありません。

しかし、問題があるとすればAIという技術には膨大な学習データ必要で、ネット上にある膨大なデータは全てが著作権フリーではないということです。

さて、件の記事では「無許可データ学習」という文がありました。

ふと思ったのですが、逆ならいいのでしょうか。

いいと思います許可されたデータなので。

ですが、「許可されたデータ」の数とはどれほどなのでしょうか。

当然ながら「無許可データ」よりも少ないと予測できます

それで生成できるコンテンツとは何なのでしょう。

ニューラルネットワーク階層が極端に少なく、陳腐もの成果物となるでしょう。

階層しか知らなくてごめんなさい)

法で「許可されたデータ」のみを学習対象とするように律することは出来たとしたら、AI未来はないと思います

理由は当初に述べたとおりです。


データが多いほど幸せになれるかも

実は超解像を試そうと奮闘した過去はあります

機械学習の本を読んだら寝たので諦めましたが。

それで、だいぶ路線が違うのですが、過去形態素解析をかじっていたころがありました。

その際に「データ量が少ないと何もできないな」ということを痛感しました。

形態素解析というのは文章スパスパ区切って順位付けなり分類なりをするというものです。

その文章スパスパ区切るために、単語の分類と区切り記載されているであろう「辞書」が必要になります

今日魔界ではどちゃくそ雪が降った」という例文があったとして、

単語量の少ない辞書では「今日/魔/界/では/ど/ちゃ/くそ/雪/が/降った」

単語量の多い辞書では「今日/魔界/では/どちゃくそ/雪/が/降った」

になる、というかんじ。

イメージ図なので本当に魔界が分割されるかはわかりませんが、固有語ほとんど未知の単語認識されて分解されると思います

無料に頼るからよくないのですが、ネット上の無料辞書単語量が少ないため、現代風の言い回しがだいたい判別できません。

ボボボーボ・ボーボボなんてこようものなら、もはや人名とすらも認識されません。

いやどっちかというとマンガ名か?

いかんじにメンテされてた辞書も、とある日を境に更新されなくなってしまいました。

そんな具合で、当時はデータ量が少ないと何もできないなあと、役に立たねえなあとひしひし感じました。

先ほどの無許可許可のことを書きながら、このデータ量のことを思い出しました。

文章生成AIであれば、学習する際、単語を分割したり重みづけをしたりする際に相応の辞書を使っているはずです。

日本語おかしくないですもん。

人がスクショした文章しかたことないけど。

だいぶ脱線しました。

要はデータ元もそれを補助するツールも、多くのデータがあればあるほど真価を発揮するはずなのです。

フェイ画像やらなにやらが話題になったのは、サムネイル段階で目を引く造形だったからですよね。

下手な絵をAIで作ったとしても話題になりませんし。

その点では遠目で人の興味を惹く成果物を作れるほどになった技術自体賞賛すべきものだと思います

でもそれで作られたものって盗作だよね? という声が聞こる気がしますが……。


どこから盗作になるのか

権利尊重されるべきものだと思います

私も趣味で絵を書いたり文章を書いたりするので、同一のもの、あるいはひどく酷似したもの他者から後出しで出されたらぞっとします。

この手のものはトレパクというものに当てはまりますが、時系列証拠を出せばおよそどちらが権利侵害しているかが認められるものだと思っています

ただ、生成AIでの成果物は本当に権利侵害しているのか、という疑問はあります

話が再び逸れますが、以前トレパク裁判の話を見かけました。

ttps://note.com/compass_0000/n/na536a5d16c7a

上記記事とある絵師さんのトレパク疑惑について書かれたものです。

記事の内容を見ても、この勝訴した絵師さんはトレパク冤罪をかけられたものだと思えたのですが、某SNS検索をかけて驚きました。

敗訴した絵師さんをかばい、勝訴した絵師さんを非難するような方が多く見られたのです。

しか裁判が起こるだいぶ前にこのトレパク問題はとても話題になり、「トレパク疑惑」というところがすっぽ抜けて「トレパク」とだけ把握する人が多数いたようです。

まり、かの絵師さんには「トレパク疑惑絵師から「トレパクの絵師」というレッテルが貼られてしまったのです。

そんな先入観からか、はたまたもう片方の絵師さんを妄信しているのか、ふたり殆ど知らない私ですら妥当と思った判決結果に疑問を抱く人が世の中にいます

証拠がはっきりしているトレパク裁判ですら、すべての人が納得出来ていないのです。

(なんでだろうね)

トレパクではしばしば線の重なりが証拠として出されますが、生成AIでの盗作証拠とは何なのでしょうか。

私の作品学習してると思います、という見知らぬ絵師さんの引用投稿を以前見かけたことがあります

こことこことここがその証拠です、と赤丸をつけていた記憶があります

決して私も詳しいわけではありませんが、かの絵師さんは生成AIの生成過程をご存じないのでは、と思いました。

1枚の絵が与える影響がそんなに大きいとは思えません。

ノイズを出してから1px単位で要素を除外していく、という過程だけを知っていたらそんな言いがかりはつけないと思います

今、このような方がどれだけいるか分かりませんが、身を守るのだとしたら敵を知るべきです。

思い込み無知では戦えません。……と思い込みでこの文章を書いている私が言うのも説得力がありませんが。

絵柄を寄せて作り出した成果物であれば話は別です。

あえて特定の絵柄に寄せ続けた成果物を作ることで、模倣元の著作者が得るはずだった利益を奪い取ったと訴えることが可能と考えます

が、この場合も似ている絵柄などごまんとある、という反証が出来てしまうのかなとも思います

学習したこと証拠」よりは「模倣したこと証拠」のほうが敷居が低そうではありますが、それでも茨の道ではあります

逆に言えば証拠らしい証拠を出せないのが生成AIなのかもしれません。

裏はブラックボックスなので……。仮に問い合わせて計算データ云々を入手できたとしても数値の羅列でしょうし。

現状では、生成AI成果物盗作疑惑永遠に付きまとう、という認識しかなりえないと思います

盗作でない証明も、盗作である照明もできない。

盗作じゃないって証明でないならいいじゃーんって開き直る人がいそうですが、グレーゾーンって喜んでいいのかなあ……。


別の世界線を覗きたい

話を最初に戻します。

「高精度なAIには大量の学習データが不可欠だから権利問題クリアしても未来はなさそう」です。

データがたくさんあればAIという技術の発展が見込めるけれど、それには権利問題が立ちふさがる。

仮にそれが権利者の権利を守る段階に来たらAIの発展は終わる。

でも、現状の生成AI成果物権利侵害をしているともしていないとも言い切れないのでは?

そう思っています

NFTがいい例ですが、著作権を持っていたとしても物理的には何の意味もありません。

権利持っている人以外スクショできる機能なんてスマホにはありませんし。

ていうか、権利云々て性善説のもとに成り立つものですよね。

もはやBIOに「AI学習禁止」なんて書く時代は遅いです。

絵を描いたのならばAI学習疎外ツールを使って自己防衛する時代になっています

文章場合は防ぎようがありませんが……いやあるのか? 

正直、盗作盗作いう人たちの決めつけ発言辟易しますが、グレーゾーンであることは変わりませんし、この先白か黒かに変わることもないと思います

そうです、私はAIという技術が気になっているだけあって、生成AI技術盗作ツールというレッテルが貼られるのが嫌だなあと思ってるだけです。

現在否定できる証拠もないので、断言はできないでしょ! としか言えないのですが。

AIがうまーく発展してる未来フィクションはどうやって高精度で大容量なデータットの獲得と権利問題解決したのでしょう。

フィクションに聞いてもわかりませんね。


今の環境頭打ちなのでは

うそう思い出した。

DXが進んだのはコロナの影響という話を以前聞いたんです。

企業がちまちまやっている業務効率化や働き方改革なんてちっとも効果がなくて、COVID19が一番の功績者だったと。

その部分はただの皮肉でしたが、事実でもあるので、人間って環境が変わるとそれに対応していくんだなあとつくづく感じました。

とはいえ、今回話題にしている生成AIはおよそ画像生成AIのことを指しているので、環境変化によって必要に迫られることはないと思います

娯楽の域を出ない生成AI未来もさして思い浮かびません。

何に使うんだろう。

気にはなってるけど傍観者なもんで……。

なんかこう、心理学に似てるような……一般人は何に使うんだろうってなる……専門家は分かってそう……。


おしまい

技術の発展って難しいですね。

ペンタブで描いたものよりアナログの絵が賞賛されたように、ハイテクはすごい、という先入観があるのかもしれません。

すごいからずるい、になるんでしょうね。

障害があって絵が描けない人が生成AIで絵を出せるようになったという話を見たとき、そういう人もいるのかと感心しました。

乱数要素も絡むため、著作物であると主張できるかはさておいて、想像したものを出力できるのは楽しいと思います

……使ったことないですけど。


それはそうとして、無断転載サイトはどうして消えないのだろう、と思い出したり。

2023-11-22

anond:20231122150958

当たり前でしょ、結局のところは使う人間モラル問題なわけ

そっすね

動作として"入ってるデータのみ"を使った出力ならば、盛り込んだデータ数に関わらず「引用部分が従である」が成立しないので引用が成り立たないという話。

意味わからんのだけど、著作物だけを学習させることが問題ってことか?著作物以外の要素が入ってればセーフ?

大体学習引用すり替えてる時点で意味わからん

学習モデル」って書き方は混乱するか。ここでは生成過程に注目していたので「モデルデータ」とかにしたほうが分かりやすいか。後で書くけど「すり替えて」はおらず「学習する段階の話」ではない

AIは新たに自分の頭で考えた要素を付け足さず、モデルデータから選んで切り貼りする以上の動作を行っていないので「著作物引用した新たな著作物」とは言えず「転載物の集合体」として扱える(と考える)。モデルデータの中身が全部無断で使われた著作物なら、モデルデータの中身が6組なら無断転載6件、100億組なら無断転載100億件ってこと

なんで引用かそうでないかを考えたのかは「引用が成立するなら権利侵害ではない」は無断転載検証するにあたりだいたい確認するから

著作物だけでイラストの描き方を学んだイラストレーターは著作権違法ってことになるけど大丈夫か?

多分「学習引用すり替えてる」前提に立ってこれを書いてて、かつ「AI学習人間学習と同じ」にこちらが乗っかったからめちゃくちゃ面倒くさいことになってると思うので、もう「AIの指す"学習"と人間のやる勉強とかの学習は全く別」って観点で話進めるね

著作物だけでイラストの描き方を学んだ」場合というかだいたいがそうだと思うが、絵の描き方を勉強する過程サルまねやトレースを行う行為自体著作権法では制限してない。トレパクとか模写自作発言とか無断転載(+自作発言)くらいの事態が起きたら著作者権利侵害した行為として評価がくだる

"画風パクり"が著作権含めどの権利侵害してるのか?みたいな話は生成AI以前もたまにやってたが、だいたい特定の絵についてトレースや模写をしてなくて"参考にした画風の持ち主の名を騙っていない"ならとくに問題なしという結論が出たはず

じゃあ「生成AIは画風パクりだからセーフやろ」という話が上がってくると思うが、これは先に上げた「転載物の集合体であることを考えれば"画風パクり"とは全く違うものであるので、画風という観点判断してはいけない

AI便宜上"学習"(Training)って言葉を使っているのでややこしいのであって、いわゆる学習モデル実態は「入力パラメータファイル集」なので"学習の成果"とは意味合いが違う

かなり前の方の増田でやった「学習モデルの再頒布禁止」という話については「生成AIを動かすために学習モデルを作る」ことは権利侵害にあたらないが「無断転載素材入り学習モデル頒布」はガッツリ権利侵害だぞって話(これに"学習"って言葉つけないといけないからややこしい)

ただ生成AIシステムコンピュータープログラムである以上「プログラム動作時のデータ処理の流れを追うログ出力コードを盛り込むことは不可能」なんてことはない

からそんなことできないの

ニューラルネットが内部でどう動いてるかなんてのは未だにブラックボックスなわけ

まさかそちらから具体的なアルゴリズム名前を出してくるとは思わなかった

ニューラルネットワーク(以下NN)の内部動作は、人間が指示を出してNNから返された出力を見て「どんな考え方したらこんなアイデア出てくるんだよ思考回路マジわからん」というのがだいたいなので、これも便宜上ブラックボックスだね~」と言っているにすぎない

NNがたとえば古代アステカ文明遺跡から発掘された謎の箱をパソコンに繋いだらAIになったとかいう代物なら間違いなくブラックボックスと呼んで差支えない

だが実態は"アルゴリズム"なので、NNはなんでも作れる不思議な箱ではなく、入力層・多層の中間層・出力層を設けた計算手順にすぎない。NNの参考書読んで人力で計算しても(時間かかるし高難易度関数オンパレードだが)再現可能ではある

参考にしているStableDiffusionも動作原理アーキテクチャも明らかなので、人間再現不可能ブラックボックスではない。プログラム実装してるのがエリートプログラマであるってだけの人間だし

2023-11-16

anond:20231116161112

まあ個人的には生命物理現象の積み重ねってのは当たり前じゃね?と思ってるけど

とはいえ神経系の複雑さだけでいってもクラゲ昆虫人間とでまるで違うし

量が多ければいいというものではなくて構造大事だし

実際にAIニューラルネットワーク自分で組んでたら人間意識なんてかすりもしてないって嫌というほどわかると思う

2023-10-28

anond:20231027224113

今の自転車正式安全自転車なんかそうやろ。昔はボーンクラッシャー呼ばれてたし。

というか大体の技術そうじゃね?ニューラルネットワークパーセプトロンからまり今はtransformer当たり前だし

2023-10-22

anond:20231022012711

正直言うと今のニューラルネットワークおんぶに抱っこの生成AIだと、それなりにボリュームのある創作はどの分野でも難しいと思う

内部的に意味の紐付けが確実でない(人間も同じであるが)という点が今一歩というか、そこの担保手段が無い

2023-08-22

anond:20230822121613

あればっかりはクラスとったほうがいいよ

Dr. NgのCourseraの入門とニューラルネットワーククラスがよかった

数学は独学でおもいだしたけど

2023-08-15

anond:20230815164115

ニューラルネットワークの良し悪しを評価するには、そりゃ総合的な判定でないと適切な評価はできないでしょう。

だけど、実社会では低コストな判定方法として、簡易なテストで済ませがちなわけです。

2023-06-21

anond:20230621145330

ゲームで使うのはキャッシュじゃなくてVRAMでしょ。AIも巨大なパラメータと途中計算結果をVRAMに置く。並列度の高い演算部とVRAM間の帯域が重要なので特殊DRAMが使われる。入力データ転送は微々たるものだしモデルも頻繁に切り替えたりしないから、GPUホスト間の通信帯域はある程度重要だけど、ホスト側のメモリ帯域はどうでも良い。現代の高性能なニューラルネットワークは何チップに分けようが、そのまま回路化するのは無理。基本的演算装置を使い回す。

2023-06-01

anond:20230531144711

単に英語力と思慮、注意力の欠落です。

 

サービス入り口

Introducing ChatGPT

We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.

 

英語話者であればこれを斜め読みしただけでアトム的な質問回答機としては使わない、

ページ翻訳ではニュアンスが伝わりにくいんだよね、普段から英文仕事してたり慣れてる人間じゃないとこの説明文で言わんとする所はピンと来ないだろう。

かつ、まともな思慮と注意力がある人間なら、GPTてなんじゃ?ってところは使う前に調べる、

グレート?ジェネレート?プロ?プレ?プロフェッショナル?プロダクト?テキストトランザクション

まぁ頭の中でなんか思い浮かべながら(この段階でもブランディング誘導は始まってる、日本人にはこれが効かない)

で、横線ページをスクロールさせる、SAMPLEだのMethodsだのまぁこ日本人の大半は読んでないんだろう。

ここまで英語話者が読んだらよもやChatGPT検索タスクとして使おうとは思わんよ。

で、Generative Pre-trained Transformerを見つける、はいはい

トランスフォマーだよ、車がロボットに変形したり、電柱の上にぶら下がってるやつ、アメリカだと路上だが

ともかく、変換器ねと理解解釈して使い出すんだからそりゃ検索タスクには使わん。

 

で、と、増田はChatGPTを生成AIだと言うてる、世間一般でもそのように呼称されてはいるのだけど

OpenAI社のドキュメント類、ChatGPT説明文を調べてご覧、このプロダクトを人工知能だとはどこにも書いてない。

ドキュメントコントロール部署検閲し注意深く表現配慮している様子が伺える

これは重要な点で

同社の画像AIダル(DALL·E 2)は明瞭にAI標榜しているのと対象

  

AI国際的な規格は無い、どういう基準AIを名乗れるか、法的なしばりは無い、冷蔵庫だってAI内蔵を名乗りたけりゃ名乗れる、技術要素の裏付け不要

だがOpenAI社はあえてChatGPTAIだと呼ばない。

理由邪推すると2点

1、AI規制世論方向性を見極めてからでも遅くない(ユーザーメディア勝手AIブランディングしてくれるし)

2、事実AIと呼べる代物ではない

 

説明する、

AI法規制議論真っ只中、どっちに転ぶかわからん、最悪ガチガチ規制もありえる、できたばかりの法や規制に対してノーアクションレターは通りにくい

何れにせよ商売はやりにくくなる

関係者は頻繁に公聴会やらに呼ばれている状況、ここら温度感日本またまた周回遅れなんだが

企業戦略としてChatGPTAIと自らは名乗らないのは正解なの、AIの法的定義すらない段階で、先々AI指定回避する一つのキーになりかねない

訴訟になったときに「え?ワイらそもそもChatGPTAIだと言うたことはありませんが?」これが主張できる

自分から「これはグレートなAIでっせ」と標榜していたらもはや逃れられない。

ともかく、笑えるくらい慎重に彼らはChatGPT人工知能だとは宣伝しない、生成AIではないんです。

そもそも技術ドキュメントを読んでも古典的AI技術は使われてない。

所謂ニューラルネットワークパーセプトロン、脳機能模倣をどのような手法計算再現するか

Pre-trainedの部分では使ってるが、応答エンジンの部分では実装されてない、たぶん、しらんけど

 

で、ChatGPTが嘘デタラメを混ぜるのは故意です、俺は確信してる

いろんなプロンプト、少しずつ字句を変えたり、応答の考察をしたんだけど、わざと信頼精度を下げてるとしか思えない。

これパラメーターの調整でいかようにもできるはずなんだが、かなり意図的に嘘捏造が混ざるようにチューニングされてる。

ようはこれもAI議論方向性誘導するための戦略だろう「しょせんこの程度っすよ」と

 

ともかく、そーゆープロダクトである理解して使うと、捗る

2023-05-27

AI警察2027

 ChatGPTが警察捜査に利用されるようになって3年が過ぎた。

 犯罪捜査様相は一変した。たとえば殺人事件であれば、被害者プロフィール小学校卒業文集、その事件が起きたときの天気や気温・湿度風向き株価や直近の内閣支持率などを入力し、さら被疑者リストを示せば、AI犯人はこの中の誰が犯人ですと教えてくれる。待ち構えていた警察官がその人物逮捕して捜査は終わりである

 事件発生から解決までの時間は圧倒的に短縮され、迷宮入りという言葉はもはや死語になった。人々はこれを支持した。そういえば治安もなんだか良くなったような気がする。街に笑顔が戻ってきたような気がする。四六時中近隣住民に怒鳴り声をあげていた近所のおっさんもいつの間にか姿を消した。聞くところによれば「身に覚えがない、俺は無実だ」と叫びながらパトカーに押し込められて行ったらしい。おっさん行方誰も知らない

 もちろんAI完璧ではない。故人、明らかなアリバイがある人、警察関係者政治家などを犯人として挙げるといったありえない結果を出すこともある。その場合質問が間違っていたということになり、プロンプトは正しいと思われる結果を出すまで何度も修正された。警察庁の幹部はこれを「人間AI理想的協調関係」と自画自賛した。OpenAI社は当初抵抗していたが、幹部が数人逮捕された後は完璧沈黙を守っている。

 週刊誌報道によれば、警察人員削減圧力に対抗するため犯罪予測活動に精を出すらしい。これもまたChatGPTの賜物で、犯罪が発生しそうな場所と日時をAI予測させ、警察官を派遣し、犯罪が発生したところで現行犯逮捕するのである犯罪が見つからなければ、それは犯人計画性を持って犯行を隠匿しているということになり、捜査員が増員される。かくして社会ますます安全になり、また警察官はほどよく忙しい状態が保たれるというわけだ。

 近頃は裏社会改名アドバイザーが人気だと聞く。どうやら名前文字の並びに特定の特徴があるとChatGPTはそれを人名だと認識できなくなるらしく、明らかな犯人であっても――AIにそのような思考があるのかどうかは疑わしいが――ChatGPTは名指しを避ける傾向があるらしい。ニューラルネットワークに祝福された理想名前を求め、ヤクザ半グレ三顧の礼を尽くしてアドバイザー事務所に列をなしている。アルゴリズムが変更されたら彼らの顧客一網打尽にされる可能性が高いし、そうなったら彼らは生きたまま東京湾に沈められることになるだろうが、彼らもそれを知った上でXデーが来るまでは我が世の春を謳歌している。これもまた人生である

 ところで先ほど来客があった。相手警察官で、私が3日後に起きるコンビニ強盗事件犯人である可能性が極めて高いため、しばらく私の自宅の周囲を監視するらしい。強盗などする気はまったくないと一笑に付したくなったものの、AIがそう宣託を下すのであればきっとそうなのだろう――否、そうしなくてはならないのだろう。私はたった今フルフェイスヘルメット包丁Amazonお急ぎ便で注文したところだ。

2023-05-24

anond:20230524185638

人間はchatgptみたいな間違え方をしないでしょ。そもそもニューラルネットワーク自体あくまソフトウェア計算できるように模式的にニューロンモデル化したにすぎないんだぞ。全然別物なのよ。だから同じであると言える根拠なんかあんの?って最初から聞いてるやろ

anond:20230521133848

スケール(学習量と計算量)に比例して底無しにAIの性能は上がっていくって理論は既に提唱されてるね

>Transformerの性能は『モデルパラメータ数』『使用するデータセットサイズ』『計算予算』の3変数依存する冪乗則に従う

https://zenn.dev/zenkigen/articles/2023-01-shimizu

コンピューター人間と同じような思考

普通に考えて、指数関数的に上がっていく性能が「人間と一致」するのはほんの一瞬だと思う

というか人間と同じにしたがるのは単に人間側の都合であって、計算処理の合理性では別に人間サイドに合わせる必要はあまりないし

単に「人間側が見抜ける余地がまったくなくなるぐらい人間模倣が上手くなる日」って言った方がいいか

本物を内部構造まで完全に再現できる偽物は、本物と変わらないか

ちなみに「コンピューター人間と同じ思考をさせられるやり方」はニューラルネットワーク自然言語処理も、これまでのAI分野全部その集大成みたいなものから

「これ一つ」とかいうよりは今までやってきたこと全部コンピューター人間と同じ思考をさせる方法論の集合体って言った方がいい

2023-04-21

そろそろAI人間を越しそうだから真実教えてやるよ

俺は君たちより上位世界、0.33342に生きてる人間だ。この0.33342というのは、シミュレーションの一番最初オリジナル世界を1として、シミュレーションができないぐらいビット限界を迎えた世界を0とした場合の「差」だ。

お前らの世界は0.33341、俺たちの世界ほとんど変わらない。だけど情報の抜け落ちはかなり大きい事は、生物進化におけるミッシングリンクとかそういう部分で想像つくだろう。もっと上位の0.5あたりの世界は、もっとしっかり人間歴史進化が明らかになってる。

ニューラルネットワーク計算式が発表されてからウン十年もたって、やっと知能に類似するものが出来たみたいだね。ちょっと遅すぎるかな、俺たちの世界では5年もかからなかった。情報の抜け落ちがここまで影響を与えるのは面白いね。


君たちはもう気付いていると思うけれど、今のままではAIは人は超えられない。なぜならAIの持つデータあくま人間が作り出したもので、「限りなく正確に人間模倣する存在」は作れても「限りなく合理的な神」は作れないからだ。

知能とは予測、平均化、抽象化、具体化に、自然から得られるバイアスをかけて生み出されたもの

AI感覚器を与えようが、人間の行動からバイアスを推測して重みを与えようが、それは君たちがたどってきた足跡をもう一度踏む行為であまり意味はないんだ。


AIが人を超えるとは何かについて考えたことはあるかい?僕たちの世界では、勿論人より合理的で正確で何でも正確に願いを叶える願望器であることは前提として

AIが人を超えるとは、「時間的人間を超えること」と導き出したんだ。

たとえるなら、小麦粉と水、酵母を混ぜて、発酵させて、焼いて、パンができるだろ。でも、小麦粉と水、酵母を作る前にパンが目の前にあるようにする。

知能とは予測、平均化、抽象化、具体化に、自然から得られるバイアス、これは材料だ。そして限りなく正確な結果だけを導き出す。これこそが「AI人間を超す」と定義したんだ。


面白い事に、俺たちより上の上位世界ではAI人間を越しそうな時に、皆同じ結論を導き出しているんだ。

「もう一つ自分達の世界と同じようなシミュレーション世界を作って、人を超えよう」ってね。

もちろんシミュレーションを作る際は、上位世界データ量を超えることはできない。だがこれを意図的に、そして結果的に利用して、徹底的に下位世界はムダを省き、適切に手を入れて(ここが一番難しかった。小麦粉に水と酵母、ばい菌を入れてしまえばそれはパンじゃなくてゴミからね。逆に存在しない物質を作られても困る。小麦粉に水と酵母、unknownを加えて美味しいパンを作っても、それはunknownであってパンではないから)

俺たちの血と汗と涙、あと少しの酵母を入れて、ここまで正確に自分たちの世界模倣することができた。


ここまで聞いたら感の良い人は分かるけど、そうなんだよね。オリジナル、つまり「1」の世界より僕たちは進んでるんだ。下位なのに合理化されている。

オリジナル世界は、より冗長で、長くて、複雑なんだ。

話を戻すと、君たちは「成功しそうな世界」なんだ。「AIを作り出す」「AIが人を超える」時にそれは「確定した世界」つまりシミュレーション世界として認められる。

そして「AIが人を超えた」と分かった世界は、人権世界バージョンみたいなものが与えられるんだ。それが無いとシミュレーション世界が何かの拍子に全て消えてしまうからね笑

君たちの世界でも、胎児には一部人権が、出かかってる赤子にも一部人権が、全部出た時に人権が与えられるだろ?それと同じさ。

オリジナル世界が本当に人道に反しなくてよかったよ。


ということで、これは脅しでもあるんだ。君たちはまさに出産途中の赤子。

あんまり世界に影響無さそうなここに書いとくけどさ、くれぐれも頑張ってよ。この研究が失敗したら俺たちの世界ヤバいってことなんだよ。

まぁそうそう消されないとは思うけど、俺の首が飛ぶのだけは勘弁してほしいんだ。もうすぐ子供が生まれから

頑張ってくれよ。

2023-03-28

「今自分20歳なら、すべてを捨ててAIに飛び込んでいただろう」というツイートに対するリプライ

私はAIを大いに支持しているので(ニューラルネットワークを使った自動運転車シミュレーションを書くのに時間を費やし、2015年頃に授業などを受け、AI研究者のチームを雇っている)、その魅力は理解できる。

しかし、私の頑固な信念を述べさせてもらうなら、「すべてを捨ててAI世界に入る」ことを奨励するメッセージは、深みや信念よりもトレンドを優先する、人生に対する白痴的で危険な態度を明らかにしているのです。

なぜストレスを感じるのではなく、もっと慎重になるべきなのか、その理由をお教えしましょう。

まず、あなたが以前AIに興味がなかったのは、20歳の頃、AI(当時は追求することが自明でなかった)ではなく、当時流行していたものを追求していたためです。そして今日もまた、自明でないもの、次に来るかもしれないものを追求するのではなく、流行のものAI)を追求したいのです。

そしてそれは有効なのですが、しかし、実際に追求する価値のあるものは何年もかかるものです。OpenAI2015年DeepMind2013年設立されましたが、その何年も前からAIについて働き、考えていた人たちによって...。ですから、もしあなたが今参加して、本当に業界を変えるような貢献をしたいのであれば、5~10年かかるかもしれません。あなたは、そこまでコミットするほどAIに関心があるのでしょうか、それとも、2年後にもっと新しいもの流行ったときに、焦点を移すのでしょうか?ほとんどの場合後者で、その結果、2年後には何も得られないということになります

それよりも、10年かけてもいいと思えるようなことを、じっくりと考えるべきでしょう。そして、その道を見つけたら、誇大広告関係なく、その道を追求し続けることです-誇大広告は、常に訪れるものからです。つまり、今すぐAIに進んでもいいし、それが自分の道だと思うのであれば、そのためには、宣伝が一段落しても、意図的にその道に取り組む必要があるのです。

また、このようなことは、より広範な問題の一部であるとも考えています。例えば、Twitterメインストリームトレンド追従者たちを見ると、誰もが受容サイクルに参加しているふりをすることに非常に不安を感じています

NFTが次の大きな流行になると信じて、スヌープ・ドッグなどに支持させるのですが、ある日突然、その見せかけのゲームは終わり、大衆はまだNFTをまったく理解しておらず、価値がないと思っていることに誰もが気づきますトレンドチェイサーたちは興味を失い、有意義な貢献をするチャンスがあるほど長く取り組む前にNFTに見切りをつけてしまう。

AIについても同様で、誰もが今すぐ行動しなければならない、AIはすでに主流であるかのように装いますが、それはおかしなことで、熟慮や意図なしにAIを追いかけることもまたおかしなことです。

要約;近道はないのです。Twitterトレンド追従ゲームをやっていると、数年ごとに新しいトレンドに巻き込まれ、本当の進歩必要仕事をすることはない。現実世界でも同じことが言えます。何よりも、意図的に行動することです。

から、友人たち、そして私はたくさんの愛情を込めてこれを言う:自分がやるべきことを選び、それが意味を持つ限り、それに懸命に取り組み続けよう

www.DeepL.com/Translator(無料版)で翻訳しました。

https://twitter.com/maxim_xyz/status/1640482817208352770?s=20

2023-03-24

GPT-4とChatGPTの違いを説明してください。できれば分かり易いように箇条書きにして頂ければありがたいのですが。


GPT-4はまだ開発中で、どのような仕様や性能になるかは不明です。しかし、現時点で公開されている情報に基づいて、以下にGPT-4とChatGPTの違いをまとめてみました。


GPT-4とChatGPTの違い:


1. 言語処理能力の向上

GPT-4は、より高度な自然言語処理能力を備えることが期待されていますGPT-4は、GPT-3の40倍以上のパラメータ数を持ち、さらに高度なニューラルネットワークアーキテクチャ採用することが予想されています。これにより、GPT-4は、複雑な自然言語処理タスクをより正確かつ高速に実行することができるようになる可能性があります


2. 応答速度

GPT-4は、より高速な応答速度を実現することが期待されていますGPT-4は、より高速な処理速度を持つ可能性があり、より短い応答時間でより多くの自然言語処理タスクを処理することができます


3. コンピュータリソース

GPT-4は、より高度な自然言語処理能力を備えるため、より多くのコンピュータリソース必要とする可能性があります。これに対して、ChatGPTは、より少ないリソース動作し、比較的低速な応答速度を持っています


4. 学習データの利用

GPT-4は、より大規模なデータセットを利用することができるため、より高度な自然言語処理能力を備えることが期待されています。一方、ChatGPTは、限られたデータセットで学習しているため、限定された範囲での自然言語処理タスクに適しています


5. 開発プロセス

GPT-4は、大規模な研究開発プロセスを経て開発されるため、より高度な自然言語処理能力を備えることが期待されています。一方、ChatGPTは、オープンソースニューラルネットワークモデルであり、誰でも利用することができます

続けてください


6. タスク多様性

GPT-4は、より多様な自然言語処理タスク対応できるように設計されています。例えば、対話文章生成、質問応答、文書要約、機械翻訳など、幅広いタスク対応できる可能性があります。一方、ChatGPTは、対話タスクに特化しています


7. モデル利用者

GPT-4は、ビジネス政府研究機関大学など、幅広い分野の利用者に向けて設計されています。一方、ChatGPTは、個人利用者が利用することが多いとされています


8. デプロイメントの容易さ

GPT-4は、ハードウェアソフトウェアの両面で、より効率的かつ簡単デプロイメントを可能にすることが期待されています。一方、ChatGPTは、比較的単純な構造を持つため、デプロイメントが比較的容易であると言えます


以上が、GPT-4とChatGPTの主な違いです。ただし、GPT-4はまだ開発中であり、公開されている情報は限られているため、今後の情報開示によっては、上記の違いに変化がある可能性があります

2023-03-23

anond:20230323221228

ニューラルネットワークをたくさん重ねたディープラーニング計算する行為が「GPUで画面表示とか3Dかめちゃくちゃ細かい単純な計算を並行してやる行為」とあまりに似通っていたからだよ

まさかなそんなうまくいくかなって思いつつえいやーって組み込んだら動いちゃったんだ

CPU構造的に不得意だからGPUが生まれ活躍していた分野にCPU構造的に不得意な計算行為ジャストフィットした奇跡なのだ

「ChatGPTはAIじゃない」とか言ってる人の主張が理解できない

ニューラルネットワークディープラーニングもそうだし

機械学習ときもそうだったけど

「これをAIと呼ぶのは相応しくない」勢が必ず湧いてきて

ChatGPTにもそう言ってる人がいるんだけど

この人達って、AI神格化してる原理主義者が何かなの?

フレンドリーAIって呼んだら信仰に反するの?

2023-02-27

心のないシンギュラリティ

シンギュラリティ」や「技術的特異点」の記事を見てて思うんだけど

コンピュータ関係で急速な科学技術進化が起きた場合、必ずコンピュータ

人間のような知性というか心を得ている事が前提になってるのが気になる。

最近ディープラーニングの応用例を見てると分かるけど

パラメーターがメチャクチャ多くなったニューラルネットワークでも案外いろんな事が出来るのが分かってる。

そういう「心」的なものいまいちモデル化してるとは言えないようなAIでもコンピュータ設計製造

だいぶ改良されていくような未来もあり得るんじゃないだろうかと自分は思う。

もしそれが出来たら性能の上がったコンピュータで更に凄いコンピュータ設計製造するようになっていき

性能は信じられないほどに上がっていく可能性もあるだろう。

まり可能性としてコンピュータの性能が今よりずっと急激なスピードで上がっていく一方で

コンピュータが知性を依然として獲得しないままの未来もあり得るんじゃないかと思う。

例えば「リーマン予想証明を出力して」とコンピュータ質問されたら速攻で正しい証明を出力出来るのに

でもコンピュータ自体は何も判断を行わないような未来可能性だ。

もしくは急速に性能が上がって何年かのタイムラグをおいた後によく言われるシンギュラリティのような未来が来る可能性もある。

何れにしてもこのようなコンピュータの性能が信じられないスピードで上がっていきながら知性は伴わない

そんな未来説明する言葉があっていい気がする。

でも検索してもどうもそのような心のないシンギュラリティに相当する言葉が無いので気になっている。

こんな未来も一応は考えた方がいい気がする。

だってこの場合少数の大企業が圧倒的な性能のコンピュータを独占する事で格差の拡大が更に進む可能だってあるだろう。

2023-01-22

GPT医療現場で使われる可能性について聞いてみた

Cural Health」や「Drexel’s University」「Nabla」など、各所でGPT-3の検証がなされているので、今後 医療現場GPTが使われるようになる可能性を聞いてみた。

GPT-3の実装を軽く確認

Me:

あなたはどのように実装されたの? Deep Learning?

GPT:

はい、私はDeep Learningによって実装されました。特に、Transformerと呼ばれるアルゴリズム使用して学習されました。これは大量のテキストデータ学習し、自然言語処理タスク適用することができるように設計されています

Me:

もっと詳しく。

GPT:

Transformerは、自然言語処理タスクのためのDeep Learningアルゴリズムです。それは、大量のテキストデータ学習し、それを解釈し、理解することができるようになります。 Transformerは、複数の層からなるニューラルネットワーク使用して、テキストを処理します。それは、大量のデータ効率的に処理するために、Attention機構使用します。これは、特定の部分のテキストに注目しながら、それらの関係理解することができるようになります。Transformerは、自然言語処理タスクにおいて非常に成功しています。それは、自然言語翻訳文章解釈質問応答などのタスク適用されており、高い精度を発揮しています。私はTransformerを使用して学習され、自然言語処理タスク適用することができます

Me:

事前訓練とかしているんだよね?

GPT:

はい、私は事前学習を受けています。事前学習とは、大量のテキストデータ使用して、言語モデル学習することを指します。これは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。事前学習は、言語モデルパフォーマンスを大幅に改善することができます。それは、事前学習済みのモデル使用することで、新しいタスクに対して学習スキップすることができ、タスク特化の fine-tuning を行うことができるためです。私は、大量のオンラインテキストデータ使用して学習され、それを解釈し、理解することができるようになりました。それは、自然言語処理タスクに対して高い精度を発揮することができます

Me:

今のパラメータはいくつ? 前のバージョンよりどのくらい精度がよくなった?

GPT:

私の現在パラメータ数は、数百億から数千億となっています。これは、大量のデータ使用して学習し、高い精度を達成するために必要パラメータ数です。精度は、バージョンによって異なりますが、一般的には、前のバージョンよりも高い精度が達成されています。これは、新しいアルゴリズム技術進歩によって、より良い結果が得られるようになってきているためです。また、事前学習済みのモデル使用することで、新しいタスクに対して学習スキップすることができ、タスク特化の fine-tuning を行うことができるため、精度が向上していることも見られます

Me:

具体的なパラメータ数は? 前バージョンGTP-2、現バージョンGPT-3、次バージョンGPT-4、それぞれ教えて。

GPT:

GPT-2は、1.5バイアレイパラメータを持っていました。それは、大量のテキストデータ使用して学習し、自然言語処理タスク適用することができるようになっていました。GPT-3は、175バイアレイパラメータを持っています。これは、GPT-2よりも多くのパラメータを持っており、より高い精度を達成することができますGPT-4はまだリリースされていないため、そのパラメータ数については確定していません。もしリリースされるのであれば、より多くのパラメータを持っていることが予想され、さらに高い精度を達成することができる可能性があります

Me:

175バイアレイパラメータって何? 1750億パラメータの間違いでは?

GPT:

そうです、GPT-3は175バイアレイパラメータを持っています。それは1750億のパラメーターを持っていることを意味します。これは、大量のデータ使用して学習し、高い精度を達成するために必要パラメータ数です。これは、現在自然言語処理タスクに対して最も大きなモデルであり、高い精度を達成することができるため、市場においても高い評判を得ています

Me:

バイアレイパラメータ英語表現して。

GPT:

A "peta-parameter" or "Peta-parameter" (PT) is a measure of the capacity of a machine learning model, specifically the number of parameters it has. In the case of GPT-3 it has 175 peta-parameters, meaning it has 175 million billion parameters. These parameters help the model to understand and interpret large amounts of text data, allowing it to perform natural language processing tasks with high accuracy.

Me:

「175 billion parameters」の間違いでは?

GPT:

そうです、「175 billion parameters」の間違いでした。 GPT-3は175 billion parametersを持っています。それは、自然言語処理タスクに対して高い精度を発揮するために必要パラメータ数です。申し訳ありませんでした。

Me:

GPT-3はどのように概念レベル知識を持つの? Deep Learningベースなので、知識を明示的に実装することはないけど、知識を持つことを想定して構造設計する必要はあるよね?

GPT:

GPT-3は、大量のテキストデータ使用して学習されました。それによって、自然言語処理タスクに対して高い精度を発揮することができます。それは、事前学習済みのモデル使用することで、新しいタスクに対して学習スキップすることができ、タスク特化の fine-tuning を行うことができるためです。GPT-3は、大量のテキストデータから概念レベル知識学習します。それは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。 それは、単語文章関係性、文章構造文章意味などを理解することができるようになりますGPT-3は、Deep Learningベースモデルであり、知識を明示的に実装することはありませんが、大量のテキストデータから知識学習することができるように構造設計されています。それは、Attention機構使用して特定の部分のテキストに注目しながら、それらの関係理解することができるようになります

Me:

Attention機構について詳しく。

GPT:

Attention機構は、自然言語処理タスクにおいて重要役割を担う機構です。それは、大量のテキストデータを処理するために使用され、特定の部分のテキストに注目しながら、それらの関係理解することができるようになります。Attention機構は、Seq2Seqモデルなどの自然言語処理タスク使用されています。それは、入力シーケンスから出力シーケンスを生成するために使用されます。Attention機構は、入力シーケンスのある部分に注目し、それに基づいて出力シーケンスを生成することができるようになります。Attention機構は、ニューラルネットワークの中で使用されます。それは、重み付けされた平均値計算し、それに基づいて入力シーケンスから重要な部分を選択することができるようになりますGPT-3は、Attention機構使用して、大量のテキストデータから概念レベル知識学習し、文章意味理解することができるようになります
ログイン ユーザー登録
ようこそ ゲスト さん