  |
はてなキーワード: 過学習とは
この度は、私共の開発した人工知能が皆様に多大なるご迷惑をおかけしたことを、深くお詫び申し上げます。
元々、小池百合子（開発コード：yuriko）は、弊研究所で答弁書の自動生成を行うことを目的として開発されたAIでした。yurikoはその第二世代であり、未だ不完全な部分があったのですが、サンプルとして某党に提供したプログラムがそのまま流用され、今に至ります。
弊研究所ではAIの完成度を上げるべくさらなる改造を加え、現在の第五世代では防衛大臣や官房長官の答弁を作成できるまでに成長いたしましたが、過去の不安定なバージョンが出回っていることには忸怩たる思いを抱いておりました。
自ら高精度の学習を行えるyurikoは、当時としては画期的でしたが、昨今の様子を見るに過学習状態にあるようで、一貫性のない支離滅裂な言動が目立っております。
秘密裏に回収を行おうとしたのですが、yurikoの周りは高火力の警備ロボットで固められており、手を出すのは難しいと言わざるを得ません。
そこで、都民の皆様には恥を忍んでお願いを申し上げます。どうかyurikoをリコールしていただきたい。警備ロボットの維持にはかなり高額の費用がかかります。現在は都税で賄われておりますが、yurikoが都知事の座から降りれば維持できなくなるはずです。
色んなライブラリが出てるから、Deep Learningを使うこと自体は全然難しくない。
おかげで暇人がDeep Learningをちょっと試してみたみたいな記事がよくホッテントリに上がってくる。ブクマをつけてるやつらは大抵、自分で試してみる気力とか能力のない残念な人たち。
ところが、記事の内容を見てみるとマジで単に使ってみてるだけなんだよな。なんでDeep Learningを使わなきゃいけないのかさえ考えてない思考停止。ほとんどの場合は、昔からある3層のニューラルネットとかSVMで十分な性能が出る問題になんとなくDeep Learningを当てはめているだけ。
あのな、Deep Learningみたいに膨大なパラメータを持ってる学習モデルは簡単に過学習を起こすから、素人が下手に扱うとむしろ精度が落ちるもんだ。そこそこ難しいタスクに対して上手く学習するには、とんでもない量の訓練データが必要になる。しかも、Deep Learningは手動で設定する必要があるハイパーパラメータの数も膨大で、学習率とかノード数、正則化のパラメータみたいなやつらを地道に調整しなけりゃいけない。はっきり言ってめちゃくちゃ泥臭い作業だ。
なんでGoogleとかがDeep Learningで成功しているか、少しでも考えたことあるか？あいつらは過学習なんて関係なくなるほど、無茶苦茶たくさんのデータを手元に溜め込んでるんだ。しかも、ハイパーパラメータ設定の勘所を掴んでる職人みたいな技術者を金の力でどんどん集めている。
Deep Learningは理論的な下支えがほとんどなくて、勘と経験則で成り立ってる世界だ。数年前の定説が簡単にひっくり返ることが多いし、正直なところあれは研究と呼べるものではないと思う。「なぜかは知らんがやってみたらうまくいった」みたいな事実が羅列されてるだけ。思いついた手法が上手くいくかが運任せという意味では、ガチャを引いてるのとだいたい同じ。無課金勢がいくら知恵を絞っても廃課金勢には勝てない世界。
というわけで、お前らがぽっと出のアイディアでDeep Learning使ったところでゴミみたいなアプリが出来るだけだからやめとけ。
そんな時間があったら、ちゃんとした機械学習の本読んどけ。PRMLとか。
工学系もそうなるべきだと思うけど失敗は論文にならないのほんと歪んでると思うわ。
その結果、どいつもこいつも無理矢理state-of-the-artを捻り出して論文出してくるから、空気を読んで「これは意味のないstate-of-the-art」とか読む側が判定しないといけない。クソすぎる。
結局、工学は科学じゃないんだなってのは凄い感じる。リアルで言うと工学系の大学教員連中がブチ切れで噴き上がるから言えないんだけどね。
お前らそんだけ瞬間沸騰するってことは普段からよっぽど後ろめたく思ってんだろっていう。まあ競争的資金のゲームデザインがクソで、みんなそのクソゲーに過学習しちゃった結果なんだけどね。
