  |
はてなキーワード: ニューラルネットとは
https://ai-scholar.tech/deep-learning/matrixflow-191/
この人は文系でも使えるＡＩ製品を売り出してデータサイエンティストを全部失業させたいとか言ってる。
で１年くらい昔の話で申し訳ないんだけど、この人こんなことも言ってる
https://twitter.com/tdualdir/status/964134918266605568
この人の言ってる「DNNが任意の関数を表現できる」ってのはディープニューラルネットワークの層を深くすればするほど複雑な表現に対応できて任意の関数に近づけるってことだよね。
関数をテイラー展開して項を増やせば元の関数に近づくみたいな話。万能近似定理とか普遍性定理とかいう名前のやつ。たしかに昔から言われてる。
でもどれくらい深くすればうまく近づけられるかってことは何も言ってなくて、既存の手法よりもうまく行く理由もわかってない。
無限に深いDNNならどんな関数も表現できる、なんて言っても実際にできなかったら使えないじゃん。
だからこそ研究者が現在進行形でいろんなニューラルネットワークを試してうまく行く条件を探してるわけ。
https://www.slideshare.net/masaakiimaizumi1/ss-87972719
は目的の関数が一定の条件下ならDNNが他のどの手法（最小二乗法とか）よりも一番うまく近づけられることを証明したって言ってる。
つまりこれまで分かってなかったことを部分的に解明している。全然違う話。
書いてある数式が難しくて理解できなくても日本語のとこだけ読むだけでも全然違う話をしてることがわかると思うんだけど。文系ならともかく理系ならわかるでしょ。
数学ができるかよりも機械学習で何ができるのか理解してそれを活用できることが重要ってインタビューの中で言ってるけど、本人が理解してないじゃん。
何ていうかさ、知ったかぶってＡＩに強いですよってアピールしたかったのかなって感じ。最近ＡＩブームで目立ってるＡＩ人材ってみんなこんな感じ。
数学に強い理系って経歴をこういうハッタリにしか利用できないのは悲しいよね。
ＡＩ理解の解像度がこの程度の人間がソフト作ってＡＩを全くわからない人間に「はいあなたみたいな文系でもＡＩ使えますよ！」って売りつける構図なんだけど、
作る側も使う側も何も分かってなかったら成果出るわけないしすぐ飽きられそうなんだけど。
それともまだグーグルのAutoMLでも実現してない全自動で最適なニューラルネットを学習してくれるＡＩプラットフォームを自分でゼロから作る予定なのかな？
無限に複雑なDNNなら任意の関数を表現できるって話とどういう条件でDNNが他の方法よりうまく行くって話の違いが分かってない状態じゃ厳しそうだけど。
これもゴールドラッシュのときにツルハシを売る奴が一番儲けるってやつなのかな。
でもよく考えたらこの手のソフトって昔からあるよね。結局使いこなせずに「コンサルタント」とか雇って月単価いくら万円で常駐させてしまうのはいいほうで、たいてい飽きられる。
手を変え品を買え同じことの繰り返しってことか。なんだ。
まあデータサイエンティスト全部失業させたいってのは同意。こういうハッタリが増えればすぐＡＩ幻滅期が来てブーム終わるし。
早く役に立たないＡＩ人材もデータサイエンティストもツルハシを売る奴も共倒れしないかな。
機械翻訳は困難とされてきましたが、昨今話題のDeep learningで状況は一変してます。
Google翻訳もニューラルネット使って大幅に精度が向上してますし。
Googleが開発したPixel BudsやGoogleレンズは端末性能の制約上まともなニューラルネットワークを駆動できずに精度はイマイチでしたが、新型iPhoneやNVIDIA RTX2080のようにニューラルネットに特化したチップを搭載する機器が登場し始めており、かつ5Gのようにリアルタイムで大量データを送受信可能な通信規格が普及すれば携帯端末で大規模なニューラルネットを活用可能な未来は数年の内に来ます。
特に難しいとされてきた意訳についても、Deep learningによって実現可能性が見えてます。
キャプションから写真、写真からキャプションを生成するようなニューラルネットが既に実用化されていますが、「英語キャプション⇒写真⇒日本語キャプション」というように生成すると、写真を説明する英語の文章から日本語文章を生成でき、かつ単語単位で変換しただけでは得られない同一概念を表す英語と日本語の文章が得られます。これは意訳とほぼ同義の結果が得られており、さらに一歩推し進めて「英語⇒抽象概念、抽象概念⇒英語、日本⇒抽象概念、抽象概念⇒日本語」と学習すると、写真を介さなくても直訳ではない翻訳文章を得る事ができるようになります。
また「日本語⇒英語」「英語⇒中国語」というふうに学習させたモデルを使うと「日本語⇒中国語」についての翻訳も（学習していないのに）できてしまうという研究結果もあります。
突然かつ急激な産業革命的パラダイムシフト、翻訳屋のロゼッタが機械翻訳の飛躍的な向上に白旗宣言
http://kabumatome.doorblog.jp/archives/65903378.html
本当かどうかは知らないけど、正直さもありなんというのが元業界の人の感想。
翻訳の環境は「人の翻訳→翻訳プラットフォーム(翻訳作業用のソフトウェア)→機械翻訳のサポート→機械翻訳の後編集(ポストエディット)→ニューラルネット翻訳」という風に進歩してて、どんどんの人の手がかからなくなっている。
それを発注側も受注側もわかってて、どんどん納期と価格が下落しているのがここ数年の話。
在籍していた会社はまだマシというレベルの単価で、他社の話だとこれもう専業でやっていけねえよなというレベルの単価だった。
つまり「安く、早く、大量に処理する」がトレンドであり、翻訳者からすると翻訳会社やソフトウェア会社の都合で単価や作業環境を年々いじくられ振り回させるのが常態化していてうんざりしている人も多い。
ちなみにほとんどの翻訳会社は登録しているフリーランスの翻訳者に発注しているので、立場の弱い個人の翻訳者は翻訳会社の都合に合わせるか、条件のいいところを探すしかない。
発注企業、翻訳会社、ソフトウェア開発会社、それぞれがそれぞれの思惑で動いてきた結果、商売として成り立たなくなっているのが現状。
海外はというと、世界中にブランチ持ってる大手企業がせめぎあってて日本の翻訳会社なんて下請けのひとつでしかない。
日本は数多いローカライズ先のひとつという感じで、そんなに重要視されてない。
あとそもそもの話、翻訳という仕事は翻訳元になる文書(説明書とか契約書とか、仕事に関するすべてのドキュメント)がないと成り立たないので、日本企業が海外進出しないと仕事が増えない。
オリンピック需要が！なんて話もあったけど目立った案件はなかったように思う。
ただ翻訳において絶対に最後に必要になるのは「誤訳と判断できる背景と文脈がわかる人のチェック」なので、どんなに精度があがってもプロの翻訳チェッカーという仕事はなくならないと思う。
しかしそうなると外注するより社内で機械翻訳した後にチェックできる社員がいればよく、むしろそっちの方が安心感があるので市場はさらに縮小するというのが個人的な見立て。
みんながキーボード打てるようになって、タイピストの仕事がなくなっていくのに近い感じかな。
業界の傾向だと思うんだけど、語学が好きな人が多いせいか勉強好きな真面目で感じがいい人も多いので、そういう人たちがしんどい思いしないようにとは願ってる。
追記：
http://www.nikkei.com/article/DGXMZO98496540W6A310C1000000/
一つは、AIが明らかに誤りと思える判断を出力した場合にも、その原因の解析が極めて困難であることだ。イ・セドル氏が勝利した第四局では、AlphaGoは明らかな悪手を繰り返した後に敗北したが、その原因は当のDeepMindのメンバーにも分からなかった。通常のプログラムであればコードを追跡してデバッグできるが、ディープラーニングには人間が読める論理コードはなく、あるのは各ニューラルネットの接続の強さを表すパラメーターだけ。アルゴリズムは人間にとってブラックボックスになっている。
もう一つは、高度に訓練されたAIは、例え結果的に正しい判断であっても、人間にはまったく理解できない行動を取る場合があることだ。特にAlphaGoが勝利した第二局では、プロ棋士の解説者は「なぜAlphaGoの奇妙な打ち手が勝利につながったのか、理解できない」といった言葉を繰り返した。
ああ、やっぱり俺の思っていた通りの未来になりそうだな。
人間：弱いAIの現時点でも知能指数が開いてAIの出す答えが人間には解析不能になってる。
だから人間を生化学的にIQを引き上げないことには置いてけぼりを食らうって言ってたのにそのまんまになりそうだな。
色んなライブラリが出てるから、Deep Learningを使うこと自体は全然難しくない。
おかげで暇人がDeep Learningをちょっと試してみたみたいな記事がよくホッテントリに上がってくる。ブクマをつけてるやつらは大抵、自分で試してみる気力とか能力のない残念な人たち。
ところが、記事の内容を見てみるとマジで単に使ってみてるだけなんだよな。なんでDeep Learningを使わなきゃいけないのかさえ考えてない思考停止。ほとんどの場合は、昔からある3層のニューラルネットとかSVMで十分な性能が出る問題になんとなくDeep Learningを当てはめているだけ。
あのな、Deep Learningみたいに膨大なパラメータを持ってる学習モデルは簡単に過学習を起こすから、素人が下手に扱うとむしろ精度が落ちるもんだ。そこそこ難しいタスクに対して上手く学習するには、とんでもない量の訓練データが必要になる。しかも、Deep Learningは手動で設定する必要があるハイパーパラメータの数も膨大で、学習率とかノード数、正則化のパラメータみたいなやつらを地道に調整しなけりゃいけない。はっきり言ってめちゃくちゃ泥臭い作業だ。
なんでGoogleとかがDeep Learningで成功しているか、少しでも考えたことあるか？あいつらは過学習なんて関係なくなるほど、無茶苦茶たくさんのデータを手元に溜め込んでるんだ。しかも、ハイパーパラメータ設定の勘所を掴んでる職人みたいな技術者を金の力でどんどん集めている。
Deep Learningは理論的な下支えがほとんどなくて、勘と経験則で成り立ってる世界だ。数年前の定説が簡単にひっくり返ることが多いし、正直なところあれは研究と呼べるものではないと思う。「なぜかは知らんがやってみたらうまくいった」みたいな事実が羅列されてるだけ。思いついた手法が上手くいくかが運任せという意味では、ガチャを引いてるのとだいたい同じ。無課金勢がいくら知恵を絞っても廃課金勢には勝てない世界。
というわけで、お前らがぽっと出のアイディアでDeep Learning使ったところでゴミみたいなアプリが出来るだけだからやめとけ。
そんな時間があったら、ちゃんとした機械学習の本読んどけ。PRMLとか。
物事を習得するときに脳をどう使うべきかが分かっているとかなり改善される。
（天才クラスは生まれつきニューラルネットの構造が違うので張り合っても無駄）
別に運動じゃなくても勉強でも何でもいいので、学習して習得したというときにどう行動したかをよく考えてみるとよい。
現在の間違った状態を修正するには、ポジティブなフィードバックが必要。正しい出力（運動の結果）が必要だ。
正しい出力は当然最初はできないから、探索的に達成する必要がある。
つまり運動に関わる色々なパラメータ（体の各パーツの動かし方、角度や速度、その他）を効率的に変えながら実験をして良さそうな方向に探索していくのだ。
一旦正解らしきものに辿り着いたら、それを繰り返し行う必要がある。Hebb則によれば繰り返し使われたニューロンはその分強化されるからだ。
音ゲーしてる時に身体のリズムを取ることに意識しすぎるとうまくいかないことが多々ある。
音をちゃんと聴かずに身体のリズムだけを基準にするとズレてくるのは当たり前なんだけどね。
この意識の仕方は大袈裟に言えば周りをちゃんと見て行動する意識の形成に役立つから初等教育に取り入れるべき。
という話を音楽の先生にしたら音楽教育に音ゲーを取り入れるという発想自体が全く無かったと驚いていた。
.
エロに関しても全く同じことが言える。某イオンド大学という凄い大学の某アダム徳永という人物はニコ生デビューしたはいいが
卑猥な発言をしすぎたために数ヶ月で撤退を余儀なくされた黒歴史を持つが、彼のセックス観は常に俯瞰的な視野を持つというものだった。
よくムードを大切になどと言われるが、ムードに飲まれてはミイラ取りがミイラになるので、ムードを俯瞰することが大切だ、
という発想がカウンセリング理論における脱中心化の発想に相似している。児童教育においても見守る大切さが言われるが、
見守ることは決して放置やネグレクトではなくむしろ対極にある、愛そのものとも言える行為なのである。
.
ここ10年、いやここ5年に人工知能ができることは随分と増えた。電王戦で厳選されたプロ棋士達に勝ち越したのは記憶に新しいが、
少し昔ならありえないと思われていた相貌認識も人のそれを超える性能を身につけるに至った。さすがのミンスキー博士もこれにはびっくりである。
それくらいIT技術の進歩にも匹敵するくらい昨今の人工知能技術は日進月歩の感がある。ともすると笑いのタネであったニューラルネットなども随分現実的な話になってきた。
これで人間の感性までを扱えるようになる準備が整ったといっても過言ではない。電王戦で今回も出る予定のやねさんもボカロや作曲に携わるとかなんとかかんとか。ニャンともピンとも。
.
そうなってくると当然のことながらエロだって計算できる。やっとタイトル回収。当然コンピュータが描いたエロ絵で当然のようにカく時代だって当然目の前に当然迫ってきている。
いまエロ情報の評価にはDMMやAmazonやpixivの星の数のような人間のレビュー頼りにしすぎている所があるじゃーん？しかも個別な作品ごとに評価しないといけない。
「この商品も見ています/買っています」だけは優秀だけどねそれ以外はてんで駄目。これからはそういうのも人工知能で予測計算してプッシュ型のレコメンデーションが可能になるのだよ。
.
人間って比べると価値判断が歪むことが多いんだよね。一面しか見ずに比較したりするし、さらに言うならば比較できない部分も多々あるからね。
スペック上は優れているはずなのに糞なパソコンっていくらでもあるでしょう。電気店員は売りたいものを客に比較させて売る。
でも比べたい、比べて一番いいのを選びたいというのが人情。そこで人工知能が出てくるわけです。
.
で、最初の話に戻るけど漫才なんかにも話の間合いやテンポなどのリズムがあるでしょう？けど比較しようという心、
私どものほうではヨガの言葉を借用して分別心と言っておりますが、比較しようという心が前に出すぎるとうまくいかない。
こっちの言い方よりこっちの言い方のほうが笑いがとれるかなとか。笑わせようとすると笑われるの法則。
常日頃から選びに選んで引き出しに入れておいたネタがドン滑りにでもなってごらんなさい。三日三晩うなされて布団から出れません。
.
エロだって同じで選ぶんじゃない。すでにそれはもう選ばれている。流れというものが既に存在しているわけだからね。
それをまず感じ取る必要があってこれは大変なことなんだ。だからそれが出来る人は我が国の貴重なエロ人材とも言える絵師なわけ。
周囲の影響は当然あるでしょ。当たり前。
「理想の人生」としてパッケージ化されて入力されるものではなく、
外界とニューラルネットと不確実性の相互作用によって出来上がるものだ、ということ。
「育てる」ことにあまり興味がないのは確か。教えるのは割と得意だけど。
さっきのサイトにも書いてある通り、相互作用や不確実性のきっかけを与え、成長そのものは自己組織化に任せるべきだと思っている。
育成ゲームのような不確実性やループ・フィードバックの無いシステムには全くリアリティを感じない。
非線形を理解していれば、「育てたように育つ」または「育てたいように育てる方法が存在する」という発想には普通ならんと思う。
個人的な経験で言うと、スキルは仕事の外で身につけるものであって、仕事はそれを(直接的又は間接的に)裏づける実績を出すところ、という感じ。
投資銀行屋がM&Aのノウハウを身につけるとかだと仕事を通してしか学べないかもしれないが、そういう仕事に就いてる奴は大抵「誰でもできる仕事だから」と言う。
これはおそらくそういう意味(ノウハウであってスキルではない)だと思う。
例えば俺は仕事で線形代数とかバリバリ使うんだけど、これは教えろと言われてもとても難しい。
教科書に書いてあることは教えられるけど、使いこなすにはそれじゃ全然足りなくて、学生時代から数えて10年以上、様々な状況で実際に使ったり失敗したり、より抽象的な理論(関数解析とか量子力学とか群論とか)を何度も勉強して開眼したり、やっぱり勘違いだったことが分かったり、無数の経験を通じて脳内のニューラルネットが構築されていい感じに枝刈りされた状態が今なわけだ。
こういうものは恐らく「スキル」と言っていいんじゃないかと思う。
そして、仕事だけではこういうプロセスを経ることは基本的にできないと思う。
ニューラルネットというのは極めて複雑な構造物で、ループバックがあったりフリップフロップみたいな記憶構造があったりで、straightforwardなシーケンス処理としては絶対に記述できない。対して「ノウハウ」というのは、それがどんなに複雑であっても、本質的にシーケンスとして記述できる処理の集まりのことを言うのかもしれない。
そうそう、ジャンプのマンガの「トリコ」に出てきた話で「プロは考えない」というのがある。
これはほんとにそういうところがあって、要するにニューラルネットが十分にtrainされているから、論理的に考えなくてもニューロンに情報をぶっこめば適切な答えが得られるということ。
俺程度でも、数式が書いてあるのを見ると意味を考えなくても何となく間違ってるのが分かったりする。よく考えないと何で間違ってるのかは分からないんだけど、何となく違和感があって間違ってるっぽいなと分かる。
楽しいからやるという立場もあるが、それは文脈的に別の話なのでおいておく。
そうすると、「(少なくとも自分にとって)新しい問題に対処するため」だな。
問題というのは、(一部を除いた)数学のように論理的に解決可能なものと、そうでないものがある。
論理的に解決できる問題で「新しい問題」というのは「その問題を解決する論理がわかっていない問題」ということだ。
これを解決するには、新しい論理を生み出す必要があり、そのためには前提となる知識がまず必要だ。
論理的に解決できない問題というのは、一般社会でのいわゆる問題というもので、不確実性を伴う問題ということ。これは正確には解決ではなく決断をするしかない。不確実性には大きく2種類あって、不完全情報から来る不確実性と、本質的に確率的な不確実性とだ。
不完全情報から来る不確実性の多くは単なる知識不足が原因で、知識が無いということは本来不確実じゃないものが不確実になってしまうということ。これを避けるためにまず勉強しなければならない。
また、人間の意思決定プロセスというのは少なくとも現代の数学や論理学の枠組みでは捉えきれないもので、理屈を超えた（ように見える）思考の飛躍やイメージ思考的な超並列処理が必要不可欠だ。アインシュタインの名言で「新しいアイデアを思いつくコツは、そのアイデアをどこから借りてきたのかわからなくすること」というものがある。つまり、無数の知識を頭の中で並列処理して結びつけることで、一見思考が飛躍したかのような新しいアイデアが生まれるということ。
このような処理をするには経験が必要で（たぶん脳内のニューラルネットを作り込むとかそういうものに対応してるんだろう）、その経験を得るために絶対に必要なものが勉強だ（もちろん机上の勉強だけで十分というわけではない）。この辺りは有名な「いかにして問題をとくか」という本に書いてあると思う。
新しい問題というのは、何も学術研究の最先端にのみ存在するものじゃない。仕事上でも日常生活でも、変化する状況に対応するということそのものが「新しい問題」だ。スポーツをやるにしても、音楽をやるにしても、料理をするのも子供を育てるのも、みんなそうだ。
変化する状況に対応しより良く生きるため、自分が取り組む「新しい問題」に挑むため、そのために「知識の量」と「意思決定の精度」を洗練するために勉強しなくちゃいけないんだと思うよ。
用語並べるのはいいけど、勉強したことあるの？
ニューラルネットだろうがSVMだろうがなんだろうが（ていうかそこに並列にボルツマンマシンとかどう考えても枯れてる話を持ってくるセンスがよくわからん）、ノード数増やしたところで人間の思考に近いものすら作れないのはほとんど自明だろ。
その「どうやって学習させるか」が大問題なんだっての。
無論ネットワークを構築するだけでは学習できないので外界を知覚するセンサーを与えたりしなければならない。人間と同じようなセンサーを与え、人間と同じような環境で学習させなければ人間と同じような知能にはならない。
簡単に言ってくれちゃってるけど、そのセンサーとやらはどうやって実現するわけ？
