  |
はてなキーワード: ニューラルネットワークとは
「シンギュラリティ」や「技術的特異点」の記事を見てて思うんだけど
コンピュータ関係で急速な科学技術の進化が起きた場合、必ずコンピュータが
人間のような知性というか心を得ている事が前提になってるのが気になる。
パラメーターがメチャクチャ多くなったニューラルネットワークでも案外いろんな事が出来るのが分かってる。
そういう「心」的なものをいまいちモデル化してるとは言えないようなAIでもコンピュータの設計・製造が
だいぶ改良されていくような未来もあり得るんじゃないだろうかと自分は思う。
もしそれが出来たら性能の上がったコンピュータで更に凄いコンピュータを設計・製造するようになっていき
性能は信じられないほどに上がっていく可能性もあるだろう。
つまり可能性としてコンピュータの性能が今よりずっと急激なスピードで上がっていく一方で
コンピュータが知性を依然として獲得しないままの未来もあり得るんじゃないかと思う。
例えば「リーマン予想の証明を出力して」とコンピュータが質問されたら速攻で正しい証明を出力出来るのに
でもコンピュータ自体は何も判断を行わないような未来の可能性だ。
もしくは急速に性能が上がって何年かのタイムラグをおいた後によく言われるシンギュラリティのような未来が来る可能性もある。
何れにしてもこのようなコンピュータの性能が信じられないスピードで上がっていきながら知性は伴わない
でも検索してもどうもそのような心のないシンギュラリティに相当する言葉が無いので気になっている。
こんな未来も一応は考えた方がいい気がする。
「Cural Health」や「Drexel’s University」「Nabla」など、各所でGPT-3の検証がなされているので、今後 医療現場でGPTが使われるようになる可能性を聞いてみた。
Me:
あなたはどのように実装されたの? Deep Learning?
GPT:
はい、私はDeep Learningによって実装されました。特に、Transformerと呼ばれるアルゴリズムを使用して学習されました。これは大量のテキストデータを学習し、自然言語処理タスクに適用することができるように設計されています。
Me:
もっと詳しく。
GPT:
Transformerは、自然言語処理タスクのためのDeep Learningアルゴリズムです。それは、大量のテキストデータを学習し、それを解釈し、理解することができるようになります。 Transformerは、複数の層からなるニューラルネットワークを使用して、テキストを処理します。それは、大量のデータを効率的に処理するために、Attention機構を使用します。これは、特定の部分のテキストに注目しながら、それらの関係を理解することができるようになります。Transformerは、自然言語処理タスクにおいて非常に成功しています。それは、自然言語の翻訳、文章の解釈、質問応答などのタスクに適用されており、高い精度を発揮しています。私はTransformerを使用して学習され、自然言語処理タスクに適用することができます。
Me:
事前訓練とかしているんだよね?
GPT:
はい、私は事前学習を受けています。事前学習とは、大量のテキストデータを使用して、言語モデルを学習することを指します。これは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。事前学習は、言語モデルのパフォーマンスを大幅に改善することができます。それは、事前学習済みのモデルを使用することで、新しいタスクに対して学習をスキップすることができ、タスク特化の fine-tuning を行うことができるためです。私は、大量のオンラインテキストデータを使用して学習され、それを解釈し、理解することができるようになりました。それは、自然言語処理タスクに対して高い精度を発揮することができます。
Me:
今のパラメータはいくつ? 前のバージョンよりどのくらい精度がよくなった?
GPT:
私の現在のパラメータ数は、数百億から数千億となっています。これは、大量のデータを使用して学習し、高い精度を達成するために必要なパラメータ数です。精度は、バージョンによって異なりますが、一般的には、前のバージョンよりも高い精度が達成されています。これは、新しいアルゴリズムや技術の進歩によって、より良い結果が得られるようになってきているためです。また、事前学習済みのモデルを使用することで、新しいタスクに対して学習をスキップすることができ、タスク特化の fine-tuning を行うことができるため、精度が向上していることも見られます。
Me:
具体的なパラメータ数は? 前バージョンのGTP-2、現バージョンのGPT-3、次バージョンのGPT-4、それぞれ教えて。
GPT:
GPT-2は、1.5バイアレイパラメータを持っていました。それは、大量のテキストデータを使用して学習し、自然言語処理タスクに適用することができるようになっていました。GPT-3は、175バイアレイパラメータを持っています。これは、GPT-2よりも多くのパラメータを持っており、より高い精度を達成することができます。GPT-4はまだリリースされていないため、そのパラメータ数については確定していません。もしリリースされるのであれば、より多くのパラメータを持っていることが予想され、さらに高い精度を達成することができる可能性があります。
Me:
175バイアレイパラメータって何? 1750億パラメータの間違いでは?
GPT:
そうです、GPT-3は175バイアレイパラメータを持っています。それは1750億のパラメーターを持っていることを意味します。これは、大量のデータを使用して学習し、高い精度を達成するために必要なパラメータ数です。これは、現在の自然言語処理タスクに対して最も大きなモデルであり、高い精度を達成することができるため、市場においても高い評判を得ています。
Me:
バイアレイパラメータを英語で表現して。
GPT:
A "peta-parameter" or "Peta-parameter" (PT) is a measure of the capacity of a machine learning model, specifically the number of parameters it has. In the case of GPT-3 it has 175 peta-parameters, meaning it has 175 million billion parameters. These parameters help the model to understand and interpret large amounts of text data, allowing it to perform natural language processing tasks with high accuracy.
Me:
「175 billion parameters」の間違いでは?
GPT:
そうです、「175 billion parameters」の間違いでした。 GPT-3は175 billion parametersを持っています。それは、自然言語処理タスクに対して高い精度を発揮するために必要なパラメータ数です。申し訳ありませんでした。
Me:
GPT-3はどのように概念レベルの知識を持つの? Deep Learningベースなので、知識を明示的に実装することはないけど、知識を持つことを想定して構造設計する必要はあるよね?
GPT:
GPT-3は、大量のテキストデータを使用して学習されました。それによって、自然言語処理タスクに対して高い精度を発揮することができます。それは、事前学習済みのモデルを使用することで、新しいタスクに対して学習をスキップすることができ、タスク特化の fine-tuning を行うことができるためです。GPT-3は、大量のテキストデータから概念レベルの知識を学習します。それは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。 それは、単語や文章の関係性、文章の構造、文章の意味などを理解することができるようになります。GPT-3は、Deep Learningベースのモデルであり、知識を明示的に実装することはありませんが、大量のテキストデータから知識を学習することができるように構造設計されています。それは、Attention機構を使用して特定の部分のテキストに注目しながら、それらの関係を理解することができるようになります。
Me:
Attention機構について詳しく。
GPT:
Attention機構は、自然言語処理タスクにおいて重要な役割を担う機構です。それは、大量のテキストデータを処理するために使用され、特定の部分のテキストに注目しながら、それらの関係を理解することができるようになります。Attention機構は、Seq2Seqモデルなどの自然言語処理タスクに使用されています。それは、入力シーケンスから出力シーケンスを生成するために使用されます。Attention機構は、入力シーケンスのある部分に注目し、それに基づいて出力シーケンスを生成することができるようになります。Attention機構は、ニューラルネットワークの中で使用されます。それは、重み付けされた平均値を計算し、それに基づいて入力シーケンスから重要な部分を選択することができるようになります。GPT-3は、Attention機構を使用して、大量のテキストデータから概念レベルの知識を学習し、文章の意味を理解することができるようになります。
ニューロンってもちろん記憶野にも存在するので、もしAIが人の脳と等価と認めるならニューラルネットワークが事実上単なる記憶装置になってしまう可能性も否定はできないよね
人間の脳の機能はまだ完全に解明されたわけじゃないんだから、出力の結果から判断するしかない
そうするとAIのやってることは「非合法な方法で取得したデータを元にデジタル記憶装置の代わりに仮想的な脳を用いて行う無断転載・コラージュ」と捉えられるリスクは未だに残っている
膨大な量の絵を記憶しているからどこから盗んだのかを分かりにくくしてるだけかもしれない
人間の脳と違って膨大な学習と記憶ができるからそれを可能にしてるだけかも
だから「AIと人間の学習は同じ」と主張したところで結局合法にするべきって話にはならない、むしろより透明性が求められるべきだろうね
拡散モデルを使っているからコラージュじゃないとは言い張るけど、なぜ拡散モデルを使えばコラージュにならないのかは一切説明できない
ノイズ除去ネットワークに今まで学習した作品の要素が一切残ってないって断言できるの？マジで？
そもそも『「入力を線形変換する処理単位」がネットワーク状に結合した数理モデル』であるニューラルネットワークが学習元の要素を一切持たないと証明することの方が困難だし無理筋でしょ
JPGは不可逆な圧縮をした数字の羅列だから元の作品とは異なるので著作権は発生しないとか言うつもりなの？
結局ネットワークの蓋を開けてそれがどの程度の度合いなのか判断できない以上は断定できないよね？
現に現行AIでもi2iなしで学習元画像とほぼ一致する画像が生成される場合もあることは認められてるよね
学習は合法って言い張ってるのも「その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には，その必要と認められる限度において，いずれの方法によるかを問わず，利用することができる」という著作権法30条の4の記述を無視してるよね
まだ判例がないから「当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させること」の定義が明確でない以上は断言することはできないよね
少なくとも「思想又は感情を自ら享受し又は他人に享受させる」を字面通りに認めるならプロンプトに「元気の出る絵」とか「明るい絵」みたいに入力するのはアウトだよね
もちろんそれよりももっと広範な範囲に当てはまるかもしれないね
そういった用法に対する対応は一切しなくていいと主張するの？注意喚起すらしてる様子は見えないけど
あとイギリスやドイツでは営利利用は認められてないけど、ちゃんとそれらの国の作家の作品は回避するように設計してるの？
してないよね
あと著作権法上は問題なくてもAI利用禁止を表明しているサイトの画像を利用した場合は損害賠償しなきゃいけないらしいけど、まさか使ってなんかいないよね？
あと仮に合法だったとしても「合法だから問題ない、文句を言うな」とか言うのも意味不明
まさかとは思うけどそう主張している人たちの中に憲法９条改正に賛成してる人とかいないよね？
「AIは科学の発展に不可欠だから妨害することは許されない」っていうのも意味不明
絵描きは自分の利益を求めるより社会全体の利益を優先しろって言いたいんだろうけど、じゃあなんでエンジニアは大量の画像を無断で読み込んで他人の著作物を利用した商業活動をしなきゃ「社会全体の利益」を実現できないの？
理論を実証するだけなら別にタダでいいじゃん、性能を示すだけなら誰でも商用利用できる形で公開しなくてもいいじゃん
でもそこまでしてお金を集めるのはエンジニアさんにお給料が出るからだよね
なんでお給料が必要なの？『自分の利益を求めるより社会全体の利益を優先』しないの？
生活費や設備費が必要？みんなで出し合えばいいじゃん、『社会全体の利益』のためなんでしょ？
なんでそれに同意したわけでもない絵描きが自分の仕事道具を提出することで実現しなきゃいけないわけ？
鉄鍋や鐘を出させる大日本帝国や青田刈りするお侍みたいな言い草をしてる奴らに「頭近世」とか言われたくないね、じゃあお前らは頭中世じゃん
そもそも現代資本主義民主国家で「個人の利益を追求するな」とか君何言ってんのレベル
毎日ボタンポチポチしてどっかで見たような絵を機械に吐かせる暇あったら憲法100回くらい読み直してきたら？
一部の絵描きが不十分な根拠からAIは盗作マシンだと主張しているのも事実だけど、上記の通り推進派の側も確たる証拠もない主張しかしていない
なのになんで絵描きの側が一方的に非難されなきゃいけないわけ？
「海外ではAIは受け入れられてるのにな～日本は絵描きのせいで技術が遅れる～」とか言ってた人たちは今日本の何倍も激しく反AI活動を展開している諸外国のアーティストについてどう思ってるの？
デマを展開して他人の言論を抑圧した責任、取ってくれるんだよね？mimicのときは散々そう言って絵描きを詰めてくれたよね？
「人間の脳と同じだから人間が学習することを禁止するなら良い」って理屈も意味不明
少なくとも法律上は上記の通り明確に区別されているんだから「合法であるならOK」ならAIと人間は違うものとして扱っても何ら問題ないよね
そもそもニューラルネットワークは本当に人間の脳をちゃんと全部再現できてるって言い切れるの？あくまで簡略化したモデルでしかないよね
幹細胞から生成した神経細胞とかにも人権認めるの？てかニューロンって動物も持ってるけど動物の人権も認めるとか言っちゃうタイプ？
まあ無理筋だろうけど頑張ってそういう運動したら良いんじゃない？
そもそも丁寧に丁寧に「合法でもないし倫理的にも間違ってるよ」って教えてあげたらそんなオカルト発言に逃げて情けなくないの？
どっちが「お気持ち」なんだかね
Deepmind は Alphabet(Google)の子会社でAlphaGoを作ったところ
深層強化学習アルゴリズムのDeep Q-Network(DQN）を作っておりDQNを使うといろんなゲームで人間よりいいスコアを出すことができる
今回は行列乗算のアルゴリズムに深層強化学習を使ってよりよいアルゴリズムの作成を行った
行列乗算は、そうした基本的タスクの1つであり、ニューラルネットワークから科学計算ルーチンまで、多くの系で見られる。機械学習を用いたアルゴリズムの自動発見によって、人間の直感を超え、人間が設計した現在最良のアルゴリズムを凌駕する見通しが得られる。しかし、アルゴリズムの発見手順の自動化は、アルゴリズムが存在し得る空間が巨大であるため難解である。
~~~
AlphaTensorは、多くの行列サイズについて、最先端の複雑さを凌駕するアルゴリズムを発見した。中でも特に重要なのは、有限体における4 × 4行列の場合で、AlphaTensorのアルゴリズムはこの行列において、50年前に発見されたStrassenの2レベルアルゴリズムに、我々の知る限りでは発見以来初めて改良を加えた。
Nature 610, 47–53 (2022)
https://b.hatena.ne.jp/entry/s/www.itmedia.co.jp/news/articles/2210/05/news181.html
「数年前なら同じシステムでもAIって言葉は使ってなかっただろ。」
とあるんだけども、槍玉に挙げて申し訳ないんだけども、これはAI技術そのものなんだよ。
というか、これをAIと言わなかったら何をAIというのか、というものなんだけども。
（強いAI弱いAIとかいうややこしい話があって、まだAIはないとかいう議論はあるけども、
とりあえず世の中のAIと言われるものの筆頭技術だよ、という意味で。）
これは、ディープラーニングの物体認識の技術を応用しているんだけども、
その精度がすごく上がって、今では人間が識別するより精度が高くなっている、というもので、
それを応用して、人間が残っていないかを識別できるようにした、という事なんだよね。
だから、バスワードだから、そうじゃないものにも勝手に当てはめてる例はあるだろうけども、
少なくともこれは、そうじゃないのね。って事で。
トップコメの人、消しちゃった。晒しちゃったからかな、ごめんねー。
でも他にも同じような事書いてる人は散見されるので。
それで、センサーとか動体検知のようなローテクでもできるんじゃねって意見はあるけども、
それより人の目でざっと見た方が正確って話もあるんだよね。それだけ視覚情報は情報量が多いんだけども。
それを人の目以上の精度で認識できるようになったから、これだけ持て囃されてるのね。
という意味です。
ブコメに返信
＞機械学習とアルゴリズムとディープラーニングとAIと人工知能の違いがわからない
AIと人工知能は一緒（Artificial Intelligenceの略がAI、日本語訳が人工知能）
機械学習は関数のパラメータフィッティングの方法の事、ディープラーニングはニューラルネットワークという関数での機械学習の事
（正確には多層のNNに対してだけど、どこから多層とするかは曖昧だし実質ニューラルで機械学習すればDLって事になってる）
アルゴリズムは問題を解く方法の事で、それをプログラム言語で書いてコンピュータで実行できるようにしたのがプログラム
そしてアルゴリズムやプログラムの中で機械学習やディープラーニングを使ったりする、という関係になるかな。
これで良い？
ごめん、ミスタイプです。出かけ前に慌てて書いたので（なので2重投稿してしまってる）。
申し訳ないけど、そんな余裕なかったです。単なるミスタイプです許して。
だからゴメンて。いっぱい指摘されてかかってるの気づいたよ。
あれ？ 第三世代じゃなかったっけ？
（推論と探索が第一、エキスパートシステムが第二で）
＞AIという言葉にいろんな色付けをして使いまくった結果、本来の使い方をするとツッコミが入るパターン、よくある。
それは確かにそうなんだけども、言葉流行っちゃうとしょうがない部分はあるのと、AI自体が定義が定まってない用語なんでね。
＞実際にAIが使われているか否かではなく、一昔前なら人体検知機能とか命名してAIを主題にもってこなかったよねってことを言いたいのでは?
それはそうかもしれない。でも「本来AIではないものにまでAIという用語が使われている」ってニュアンスはあったよ。
（今残ってるコメントにもそういうの散見するし。意味なく名前だけ使う、とか。）
それに対して、DLの物体認識は今のAIブームのど真ん中だよって指摘したかった訳です。
＞物体認識に深層学習を使ってるだけなんで「人工知能」でないことは明白なんだけど
今は深層学習（ディープラーニングの事ね）使えば人工知能って事に普通はなると思うんだけど、「明白」なんですか？
逆に何ならAIになるか、聞いてみたいです。
（強いAI以外はAIじゃない派なら、それはそれで一つの見識です。でも他の見識の人も認めてね。）
「お絵描きAIをAIと認めたくない」という主旨の文章を見かけた
「ツールであって賢さはない」とも書かれていた
例えば人型ロボットが初めて行く家のドアを開けてコーヒーを入れる様子は誰もが賢さ、知性を感じるだろう
ではお絵描きAIに知性を感じない人もいるのはなぜ？実に興味深い
「AI 誤解」でgoogle検索すると「AIに関するn個の誤解」のようなサイトが何個も出てくる
曰く、機械学習がなんとかかんとか……曰く、ニューラルネットワークがなんとかかんとか……
それ以前の段階で何かボタンの掛け違えがある気がする
知性という言葉が厄介か？
知性という言葉は生物が判断するという前提を含有していないか？
AIの生き物が持つような頭の良さ、知性を無意識のうちに求めているのかもしれない
無邪気に「キリンの絵を描いて～」と言って、AIがキリンの絵を出力するような状況ならAIに生物的知性があるように錯覚できた
しかし呪文のように命令文を叩いて絵が返却される、これはとてもコンピュータっぽい（当たり前だ、コンピュータなんだから）
過去に、脳科学、神経科学の発見に対して、ノーベル医学生理学賞がそれなりに与えられているのに対し、もっとも基礎的かつ重要な発見と私には思われるヘッブ則を提唱したヘッブにノーベル賞が与えられていないことは意外に思う。恥を偲んで告白すると、私自身もつい先ほど、仕事の合間にネット検索で逃避していた際に知ったばかりで、このように増田に書いているのである。
例えば、ゴルジとカハール(1906)から始まり、「ニューロンから脳へ」の確か最初の章で紹介されてたイカの軸索の研究によるホジキンとハクスレー(1963)、分離脳のロジャー・スペリー(1981)、エリック・カンデル(2000)あたりが貰ってる。今調べながら知ったが、パブロフも貰ってるし、ヒューベルとウィーゼルも貰ってる。Wikipediaで見てると、神経科学系でほかに私の知らん人もそれなりに貰ってる。医学生理学賞ではないが確かヘルムホルツも貰ってる。だが、ヘッブは貰ってない。
ヘッブが受賞できなかった理由は素人の私には分からないのだが、近年のディープラーニングでのイントロダクションで「まくら」としてヘビアンラーニングが引用される割には、神経科学そのものの領域では評価が高くないのかもしれない。そんなことありえるのかな。
1904年生まれ1985年没のヘッブが、時代に対して「早すぎた」ということはあるのかもしれない。それにしても、晩年にはパーセプトロンとかニューラルネットワークとかそういうので、AIいけるやん！って当時の人々は盛り上がってた筈なので、やっぱりなんでだろうという気はする。
ニューラルネットワークが目的の関数を近似出来るようになるって事自体は数学で証明出来るからいい
でもなぜわざわざ中間層の多いディープラーニングを用いるかとなると理論的な根拠が薄くなる。
中間層が無いよりは一層ある方がいい、二層あると更にいいという所までは証明出来てるけど
それをもって中間層がなるべく多いほうがいいって結論まで持ってくのは厳しすぎる。
この調子でディープラーニングの構成や学習に用いる方法なども万事が薄い根拠と単なる経験とカンで選ばれたものばかり。
飛行機が初期は何故飛ぶかの理論的根拠が薄かったけど平気で飛んでたのと同じようなもんだと言ってる人もいたけど
リンク辿ってたら懐かしいの見つけた
2年くらい前にうちの会社でも話題になったけど、商用利用は難しいで止まってた気がするな
https://pkhungurn.github.io/talking-head-anime-2/full.html
↑のとこでどういう理屈で組まれたのか丁寧に説明されてるから見てみて。英語読めんかったらごめん
https://github.com/pkhungurn/talking-head-anime-2-demo
Pythonで書かれてるから動作環境も開発環境も簡単に用意できると思う。
自分の顔で動かしたいならiPhoneないと駄目だった気がする。
ただディープニューラルネットワークの学習モデルは公開されてないんよな。さすがに企業秘密か…。論文出すらしいし。
まあPython環境はちょっとしたディープラーニング環境作るのにも便利だから構築しといて損はないと思う。
エネルギー効率悪すぎだろって思ってたらツイッターに最初は脳をニューラルネットワークデバイスとして利用しているという設定だったという話が流れてきた
