  |
はてなキーワード: ニューラルネットワークとは
http://www.phys.cs.is.nagoya-u.ac.jp/~tanimura/time/note.html
今サーバがメンテナンスでみえないっぽいけどめちゃくちゃ面白いね。いまさらだけど。
メタな話をすれば、哲学者側は最先端の物理学者との対談で自分の論に箔をつけて業績にできるめったとないチャンスで、対する物理学者側は正直こんな本が出ても業績としてたいして価値があるわけでもなく、無難にお茶を濁しても誰も何も言わないだろう状況へこのガチなファイターの投入である。（ほめてる）
https://twitter.com/tani6s/status/1193542355975950336
https://twitter.com/tani6s/status/1193542463169810432
心の哲学が何を問題にしているのか、とか全然興味なかったけど、おかげさまで浅いなりに理解できたし興味も出てきた。谷村先生が頑張らなければひっそりと専門書の棚に気付かれることなく置かれてるだけだったかもしれない本だったかもしれず、関係者は谷村先生に感謝しすぎてもしすぎることはないんじゃなかろうか。
ところで谷村先生が指摘した部分というのは、理系の研究者や人間であれば多かれ少なかれ感じていたが言語化するのがためらわれた結果、これまで表面に上ってくることのなかった問題のように感じる。
学生の頃、人文系研究室の卒論と科学系研究室の卒論とを同じ発表会で見る機会があったけど、科学系の教授の人文系の発表への容赦ないツッコミを思い出した。
用語の定義にしろ立論にしろ結論を導く論理にしろ君たちあまりに緩すぎないか？というのが共通する雰囲気だと思う。
科学が発達していなかった昔、哲学は科学がまだ扱えない領域を先んじて論理の力で掘り起こす役目を担っていたと個人的には思う。（谷村先生の期待もこういうものではなかっただろうか。）
だが色彩論でのゲーテのニュートン批判とか、時間論でのベルクソンのアインシュタイン批判とか、科学が哲学に先行して真理を掘り起こした結果、取り残された哲学が宙ぶらりんのままになる状態が19世紀以降は顕著になってきたんじゃねえかと思う。まあ哲学のことはよくわからんのでアレだが。
ベルクソンとアインシュタインの対話の翻訳をネットで拾って読んでみたが、ベルクソンが長く理解しにくい文章で考えを述べる一方、アインシュタインは明晰で短い文章でバッサリと切っていて既視感がすごい（語彙力）
今、AIとか脳科学の研究が進んで、心に関する諸問題も哲学ではなく、科学の俎上で実際に解決される可能性が高くなってきたと思われる。
意識のハードプロブレムとかも、哲学側からの「まだまだ科学に扱えないものがあるんだよ！！」という断末魔の叫びのようにも感じられる。
だが科学は進む。
意識の問題も脳というハードウェア上に構築されたニューラルネットワークの状態空間として科学の領域に取り込まれ哲学の領域はまた一歩小さくなっていくのだ。
地動説で人間の住む地球が宇宙の中心ではなくなったように、進化論で人間が神に作られた特別な存在ではないことがわかったように、有機物が生命の作用なしに合成できることがわかったように、意識もまた特別な何かではなく、我々自身が哲学的ゾンビなのだということを認めざるを得ない瞬間が必ずくるだろう。
キリスト教が根底にある思想は最後まで魂の特別性に拘泥するかもしれないが仏教だと五蘊皆空と思えばどうということもない気もする。
まとまらず終わる。
大学院の指導教員のゼミ指導があんまりにもずさんで，ほとほと困っている．
代わりに各指導教員はなんかしら専門知識を身に着けている（ということになっている）．
で，うちの教員の場合それが「アンケート設計」と「統計処理」なんだけど，
アンケートの設計も統計処理もその解釈も，まー適当なんだよね．
「地球では1901-2010年の約100年の間に19cm海面が上昇しました．これは地球温暖化が原因です．これを踏まえてあなたは，レジ袋を貰わずにマイバッグで買い物しようと思いますか？」
「タバコの副流煙には、主流煙よりもずっと多くの有害物質が含まれています．これを踏まえて，あなたは分煙に協力しようと思いますか？」
みたいな聞き方を平気でする．
重回帰分析ひとつ取っても標準化係数とその有意確率しか見ない．
決定係数がどんなに低くても気にも留めない．
決定係数が負の分析結果を掲載した論文が査読通っちゃったところなんかも見た．
分散分析なんかも頻繁にやるのにゼミ中"交互作用"って言葉を一度も聞いたことがない．
「ニューラルネットワークは分析の仕組みがブラックボックスだから信用できないんですよね」だって？いやいやあんたt検定の仕組みも説明できないんじゃないんですか？
「アンケートの打ち込み終わったなら，○○分析と××分析と△△分析，全部1日で終わりますね」？そりゃ多重共線性のケアとか決定係数とか気にしないあんたの適当な回帰分析なら1日で終わるでしょうけど？
「良い結果出ましたね！」とか抜かしたりする始末．
その教員とはB4からの付き合いで，最初は指導内容に違和感なかったんだけど
他所の研究室の話とか，真面目にデータマイニングやってる先生の話とか聞いて，
最近になって自分のところの研究をちっとも信用できなくなってしまった．
こんな教員でも「結果」さえ残してしまえば出世できてしまうのが研究職というものらしく，
去年，准教授から教授に昇進している．今まさにノっている教授，というわけである．こちらとしては非常に面白くない．
あの人が学術的にやっていることといえば，ゼミで学生が「作り出した」相関を世に公表していることくらいなのに．
そんなこんなでこの人の下で研究なんてまっぴらごめんなんだけど，
大学院最初からやり直すのも，こんな理由で1年分納めた学費がおじゃんになるのは嫌だし，
かといって思い切って退学してしまうのも将来性がなさすぎる．
自分が機械学習に詳しいかどうかはわかりませんが，わかる範囲で書きます．
を実現する事が目的だと考えて話を進めましょう．
一般的にこのタスクは類似文書検索と呼ばれています．ブックマークコメントでは「ElasticSearchを使え」と言われています．ElasticSearch の More Like This Query 機能を使うことで類似文書検索が実現できるようです．あとはパラメータを調整することで思い通りの結果が得られるのではないでしょうか．
より高度なアプローチを取るのであれば，BERT と呼ばれるニューラルネットワークモデルを活用した類似文書検索も可能です．こちらのブログ (ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer) が参考になるでしょう．
しかしこれだけで終わると悲しいのでもう少し機械学習の話をすることにします．
機械学習的にこの問題に取り組むには順序学習 Learning to Rank という問題を解く必要があります．順序学習は google 検索にも使われている機能です．
これは，「入力 x に対して N 個の候補 y_1, y_2, ..., y_N を類似している順に並び替えるようなスコアを出力する関数 f(x, y_i) を学習する」というものです．
More Like This Query 機能よりもこちらのアプローチが優れているのは，前者はどうパラメータをチューニングしようと「類似している文書」しか得られないのに対して，後者は(先程引用したような)「見合った」を明示的にデータとして与えてランキングを学習できる，という点です．
学習データとして「この質問のに対してこの FAQ ページがもっとも見合っている」「この質問に対して A と B ふたつの FAQ ページがあるが，B より A の方が見合っている」「この質問に対して見合った順に全ての FAQ ページを並び替えたもの」といったデータを大量に準備することで，「見合った」を学習することが可能です．
しかしこちらも ElasticSearch の機能に搭載されているようです．ありがとう ElasticSearch．お疲れ様でした．
もしあなたが ElasticSearch を使うのではなく， Python を使って再実装したいと考えているのであれば，目印として必要なライブラリや概念を書いておきます．
https://ai-scholar.tech/deep-learning/matrixflow-191/
この人は文系でも使えるＡＩ製品を売り出してデータサイエンティストを全部失業させたいとか言ってる。
で１年くらい昔の話で申し訳ないんだけど、この人こんなことも言ってる
https://twitter.com/tdualdir/status/964134918266605568
この人の言ってる「DNNが任意の関数を表現できる」ってのはディープニューラルネットワークの層を深くすればするほど複雑な表現に対応できて任意の関数に近づけるってことだよね。
関数をテイラー展開して項を増やせば元の関数に近づくみたいな話。万能近似定理とか普遍性定理とかいう名前のやつ。たしかに昔から言われてる。
でもどれくらい深くすればうまく近づけられるかってことは何も言ってなくて、既存の手法よりもうまく行く理由もわかってない。
無限に深いDNNならどんな関数も表現できる、なんて言っても実際にできなかったら使えないじゃん。
だからこそ研究者が現在進行形でいろんなニューラルネットワークを試してうまく行く条件を探してるわけ。
https://www.slideshare.net/masaakiimaizumi1/ss-87972719
は目的の関数が一定の条件下ならDNNが他のどの手法（最小二乗法とか）よりも一番うまく近づけられることを証明したって言ってる。
つまりこれまで分かってなかったことを部分的に解明している。全然違う話。
書いてある数式が難しくて理解できなくても日本語のとこだけ読むだけでも全然違う話をしてることがわかると思うんだけど。文系ならともかく理系ならわかるでしょ。
数学ができるかよりも機械学習で何ができるのか理解してそれを活用できることが重要ってインタビューの中で言ってるけど、本人が理解してないじゃん。
何ていうかさ、知ったかぶってＡＩに強いですよってアピールしたかったのかなって感じ。最近ＡＩブームで目立ってるＡＩ人材ってみんなこんな感じ。
数学に強い理系って経歴をこういうハッタリにしか利用できないのは悲しいよね。
ＡＩ理解の解像度がこの程度の人間がソフト作ってＡＩを全くわからない人間に「はいあなたみたいな文系でもＡＩ使えますよ！」って売りつける構図なんだけど、
作る側も使う側も何も分かってなかったら成果出るわけないしすぐ飽きられそうなんだけど。
それともまだグーグルのAutoMLでも実現してない全自動で最適なニューラルネットを学習してくれるＡＩプラットフォームを自分でゼロから作る予定なのかな？
無限に複雑なDNNなら任意の関数を表現できるって話とどういう条件でDNNが他の方法よりうまく行くって話の違いが分かってない状態じゃ厳しそうだけど。
これもゴールドラッシュのときにツルハシを売る奴が一番儲けるってやつなのかな。
でもよく考えたらこの手のソフトって昔からあるよね。結局使いこなせずに「コンサルタント」とか雇って月単価いくら万円で常駐させてしまうのはいいほうで、たいてい飽きられる。
手を変え品を買え同じことの繰り返しってことか。なんだ。
まあデータサイエンティスト全部失業させたいってのは同意。こういうハッタリが増えればすぐＡＩ幻滅期が来てブーム終わるし。
早く役に立たないＡＩ人材もデータサイエンティストもツルハシを売る奴も共倒れしないかな。
直球でマジレスすると、人類はもう実時間に自動モザイクできるところまで来ている。
セマンティックセグメンテーションを調べろ。これは今流行のAIの中のディープラーニングのなかのCNN（コンボリューショナルニューラルネットワーク）の一種だ。
AIに「ここはモザイクかける場所ですか？モザイクかけない場所ですか？」とピクセル単位で教え込む。学習が終わった暁にはエロ画像入れるとモザイクするべき場所とするべきでない場所を分けてくれるはずだ。
実現するには、モザイク前のエロ動画を準備し、動画全てのコマに対して全てのピクセルをモザイクにするべきかそうでないか分類したデータを用意してくれ。そいつをもりもりAIに見せるんだ。
ものすごい演算時間と計算量を食うと思うが、多分できる。だって、セマンティックセグメンテーションは自動運転に使えるぐらい、人と車と道路と空を実時間で見分けられるぐらいすごいんだから。
でも寡聞にしてこの研究をやったという報告を見つけられないんだ。データさえ用意できればできるはずなんだけどなあ。
あ、認識率は9割とか9割9分とかしかないんで、捕まりたくなかったらモザイク領域は時系列で平滑化というか多数決とっておいた方が良いと思う。
テスラの車は、トヨタとメルセデスの古いプラットフォームから派生した純電気自動車だ。まあ、旧型カムリだ。各ECUとインパネ(IC)間がCANバスで結ばれ、ゲートウェイを通して車内インフォテインメント(カーナビ)が接続できる。そして、ゲートウェイにはセンターコンソール(MCU)、自動運転モジュール(APE)が接続されている。まあマツコネみたいなものだ。ただし、通常のカーナビと違い、このMCUはTegra 3(旧世代)または超高速なIntel Atomプロセッサ(現行)が採用されている(マジ)。そして、海賊版のUbuntu GNU/Linuxを実行している(マジ)。そしてLTE回線に直結し、テスラ本社のサーバ(mothership.tesla.com)にOpenVPN接続している。
古いモデルは3G、新しいモデルはLTEモジュールを標準搭載している。明示的に特別注文しない限り無効化や取り外しは行われない。本社Mothershipは各車の動作状況を監視・操作するほか、オートパイロット起動通知を受け取り、またssh接続のためのパスワードを保持する。これによりファームウェアのrootが取られた場合にオーナーを蹴り出したり、あるいは事故発生時に「オートパイロットは(直前でエラーを吐いて運転をぶん投げたため)使用されておりませんでした」と発表するなどいち早くメディア対策を行うことができる。
更新パッケージは前述のOpenVPN経由でダウンロードされ、その中にAPEファームウェアのほかにもドアハンドル、ブレーキ、インバータECUなどのファームウェアが含まれていれば、MCUが更新処理を行う。これまでに配信されたアップデートには、Linux Kernelを含むMCUのOS更新、インバータ出力アップ(設計の三倍程度)、緊急制動距離の延長と短縮、自動緊急ブレーキの追加、自動運転の警告間隔延長・短縮(事故報道の頻度に応じて調整)、自動運転機能そのものの搭載や根本的な入れ替えなどがある。現在の仕様ではファームウェアバージョン表記はYYYY.WW.x.y.zで、GitのコミットIDが末尾に付き、平均して月2回程度のローリングリリースが行われる。つまりリポジトリのheadがざっと社内検証を通るとLTEで降ってくる。非常にまれなケースでは社長(@elonmusk)の「やりましょう」ツイートから数時間でバージョンが上がる。
純電気自動車なので、エンジンは搭載しない。代わりに車体下面にリチウムイオン電池パック(ノミナル電圧480Vまたは400V)を搭載する。パックは火薬式ヒューズを含む高電圧コンタクタ(リレー)を介してモータおよびインバータと接続され、インバータはモータ進角を監視しながらスロットル指示に合わせて三相交流電源を供給する。この辺りはCPUファンと変わりない。
機械翻訳は困難とされてきましたが、昨今話題のDeep learningで状況は一変してます。
Google翻訳もニューラルネット使って大幅に精度が向上してますし。
Googleが開発したPixel BudsやGoogleレンズは端末性能の制約上まともなニューラルネットワークを駆動できずに精度はイマイチでしたが、新型iPhoneやNVIDIA RTX2080のようにニューラルネットに特化したチップを搭載する機器が登場し始めており、かつ5Gのようにリアルタイムで大量データを送受信可能な通信規格が普及すれば携帯端末で大規模なニューラルネットを活用可能な未来は数年の内に来ます。
特に難しいとされてきた意訳についても、Deep learningによって実現可能性が見えてます。
キャプションから写真、写真からキャプションを生成するようなニューラルネットが既に実用化されていますが、「英語キャプション⇒写真⇒日本語キャプション」というように生成すると、写真を説明する英語の文章から日本語文章を生成でき、かつ単語単位で変換しただけでは得られない同一概念を表す英語と日本語の文章が得られます。これは意訳とほぼ同義の結果が得られており、さらに一歩推し進めて「英語⇒抽象概念、抽象概念⇒英語、日本⇒抽象概念、抽象概念⇒日本語」と学習すると、写真を介さなくても直訳ではない翻訳文章を得る事ができるようになります。
また「日本語⇒英語」「英語⇒中国語」というふうに学習させたモデルを使うと「日本語⇒中国語」についての翻訳も（学習していないのに）できてしまうという研究結果もあります。
Int8(整数8-bit)のドット積は、ディープラーニングのインファレンス(推論)向けだ。ニューラルネットワークでは、トレーニング(Training:学習)にはFP16(16-bit浮動小数点)など相対的に高いビット精度が必要だ。しかし、端末側での認識のための推論ではデータ精度を落としても認識精度はそれほど落ちないため、8-bit整数程度の精度が使われることも多い。現在のGPUでは、推論向けでは8-bit整数(Int8)のサポートがカギとなっている。
https://pc.watch.impress.co.jp/docs/column/kaigai/1111755.html
https://anond.hatelabo.jp/20171217013541
https://anond.hatelabo.jp/20171219000743
上の日記は近い将来、AI医者にとってかわられるって話ばかりです
今のAIって、機械学習とかニューラルネットワークとかDeepLerningとか言われてますがそれって結局は特徴量を覚えてパターンとして覚えて当てはめてるだけなんですよ
「それって何？」
微少変化を出して記憶しているだけ
パターン認識なんです
ところで話かわりますがIQテストって要はパターン認識とその適用ですよね？
ちなみにおっさんは小学校の時に130ぐらいでした(自慢)(でも東大はいけませんでした涙)(メンサとか無理涙)
(通じなかったらごめんなさい)
ただ積分はできないっぽい
囲碁で人間に勝ったAIのalphaGoだって、積分ができないから全てのパターンを超高速で計算して、それぞれの局面を微分して評価して次の手を決めてるだけなんです
高度な資格の必要な職業って、結局記憶力とパターン認識じゃないですか
それだけやってる人は職業を失うんですよ
という盆休みで嫁と子供が実家に戻ってて自由に酔っ払ってるおっさんの戯言でした！
「積分力を鍛える！」
とかではなく、人間と今のAIの違いって何かを成し遂げるために試行錯誤する、その意思や実行力だと思うんですよね
