「正則化」を含む日記 RSS

はてなキーワード: 正則化とは

2016-05-27

自慢気にDeep Learning使ってるやつは大体クソ

色んなライブラリが出てるからDeep Learningを使うこと自体全然難しくない。

おかげで暇人Deep Learningをちょっと試してみたみたいな記事がよくホッテントリに上がってくる。ブクマをつけてるやつらは大抵、自分で試してみる気力とか能力のない残念な人たち。

ところが、記事の内容を見てみるとマジで単に使ってみてるだけなんだよな。なんでDeep Learningを使わなきゃいけないのかさえ考えてない思考停止ほとんどの場合は、昔からある3層のニューラルネットとかSVMで十分な性能が出る問題になんとなくDeep Learningを当てはめているだけ。

あのな、Deep Learningみたいに膨大なパラメータを持ってる学習モデル簡単過学習を起こすから素人が下手に扱うとむしろ精度が落ちるもんだ。そこそこ難しいタスクに対して上手く学習するには、とんでもない量の訓練データ必要になる。しかも、Deep Learningは手動で設定する必要があるハイパーパラメータの数も膨大で、学習率とかノード数、正則化パラメータみたいなやつらを地道に調整しなけりゃいけない。はっきり言ってめちゃくちゃ泥臭い作業だ。

なんでGoogleとかがDeep Learningで成功しているか、少しでも考えたことあるか?あいつらは過学習なんて関係なくなるほど、無茶苦茶たくさんのデータを手元に溜め込んでるんだ。しかも、ハイパーパラメータ設定の勘所を掴んでる職人みたいな技術者を金の力でどんどん集めている。

Deep Learningは理論的な下支えがほとんどなくて、勘と経験則で成り立ってる世界だ。数年前の定説簡単にひっくり返ることが多いし、正直なところあれは研究と呼べるものではないと思う。「なぜかは知らんがやってみたらうまくいった」みたいな事実が羅列されてるだけ。思いついた手法が上手くいくかが運任せという意味では、ガチャを引いてるのとだいたい同じ。無課金勢がいくら知恵を絞っても廃課金勢には勝てない世界

というわけで、お前らがぽっと出のアイディアDeep Learning使ったところでゴミみたいなアプリが出来るだけだからやめとけ。

そんな時間があったら、ちゃんとした機械学習の本読んどけ。PRMLとか。

数学が難しい?じゃあ、線型代数確率論勉強をやり直せ。そいつらは機械学習が廃れても役に立つからさ。

2015-12-09

グーペおじさん Q&A「ホログラフィック原理

Q.

「我々はホログラムの世界に生きているのではない」ということが明らかに - GIGAZINE

物理研究者はこの世界ホログラムだと考えているってほんとうですか?

シミュレーション仮説」と「ホログラフィック原理」について教えてください。



A.

よしきた、ホログラフィック原理やな!

おっちゃん素人から間違ってたらかんにんな!

GIGAZINEさんの内容はいろいろ間違いや。

シミュレーション仮説ってのは「この世界コンピュータじゃないか」と哲学者さんが勝手に言っている話や。物理関係ない。

一方「ホログラフィック原理」つうのは

『異なる次元の2つの理論が実は同じである

という数学的な予想や。

次元 N=4 超対称性 Yang-Mills 理論 = AdS5 x S5 上の10次元重力理論

みたいな奴やな。

予想と言っても部分的には証明されていて、今でも数々の証拠があがって来とるわけで

多くの人が信じていると思うで。

ブラックホール原子核や物性理論を弦理論ないし超重力理論研究できるようになったんやからこれはすごいこっちゃ。

とにかく、物理屋さんはでまかせ言ってるわけやなくて、いろいろ計算しとるわけやな。角度とか

GIGAZINEで取り上げられていた研究はなんですか?

論文はこれのようやな。ホーガンさんの研究や。



おっちゃん素人から読めんのだけど、重力の量子効果観測しようとした話に見えるよ。

話を進める前に、まず現状の物理理論についておさらいしとこか。

まず、この世界には電磁気力」「弱い力」「強い力」「重力の4つの力がある。

これら4つを統一した究極理論があると物理屋さんたちは考えている訳や。

電磁気力+弱い力」ここまでは出来とる。

数年前にヒッグス粒子発見で大騒ぎになったやろ? あれが電弱統一理論完成の瞬間だったんや。

次は電磁気力+弱い力+強い力やな。候補となる理論はいろいろできてて、LHC超対称性粒子ってやつを探しとる。

ここまではいけそうなんや問題重力や。

ここまで物理屋さんの使ってきた理論を「場の理論(=特殊相対論量子力学)」つうんやけど、

場の理論重力理論を作ってみるとするな。簡単のため世界ドット絵のように細かく区切って理論を作ろ(格子正則化や)。ここまでは簡単なんや

ここで、ドットの1辺をずーっと小さくしていって連続極限をとると理論破綻してしまうんよ。無限大が出て来て取り扱えなくなってしまうのな。

頭のいい人たちがいろいろ考えたんやけどな、ずっと難航しとるんや。

子ループ重力

連続極限で理論つくるからだめなんよループで考えましょってやつな。難しすぎて論文出せない絶滅危惧種

単体分割理論

もう一歩進めてこの世は連続的じゃないんや! 結晶構造みたいに分割されているんや! ってやつやな。

こっちも難しすぎて絶滅危惧種

重力理論

超対称性導入して無限大キャンセルさせるやつや。難しすぎて絶滅危惧種になるかと思いきや、

ログラフィック原理でいろんな理論との対応が見つかって今めっちゃ輝いとるな! すごいこっちゃな

ほんなこんなで超難しいんよ。手を出すと死ぬねんで。

難しい原因のひとつ実験結果がないことやな。重力の量子効果をみるにはプランクスケール (10^19 GeV)程度の実験が出来れば 良いのやけれど、

加速器で作ろうとすると銀河系サイズらしいな。こいつは無理や。

こんなんやで「インターステラー」ではブラックホールまで直接観測に行ったわけやな。

そんで、ホーガンさんの研究はな、主人公ブラックホールまで行かなくてよかったんちゃう?」って内容なんや

地球上で実験できるらしいのな。使うのは加速器じゃなくて重力波検出装置や。最近 KAGRA が話題になっとったな。ああいうやつや。

乱暴に言うとな、ながーーーーーいアレを用意してその長さをはかるんや。時空が歪めば長さがかわるっつうわけや。アレというのはマイケルソンレーザー干渉計な。

でもな、おじさんみたいな素人に言わせればな、さすがにプランク長まで測定できんのとちゃう? 重力の量子効果なんて見えんの?と思うところや。

どうもホーガンさんはある模型でこのへん計算してみたようなんよ。それで意外といけるのとちゃうのと。

そんでGIGAZINEさんによると実験してみた結果それっぽいスペクトラムは出て一度喜んだのやけれども、

きちんと検証実験したらダメだったらしいなあ。残念やな。


おっさん素人ブタから間違っとるかもわからんけどこの辺で堪忍な。

この世界シミュレーションではないのですか?

物理屋さんはその辺に興味ないんや・・・

仮に、仮にな? この世界PCの中でシミュレーションだったとするな。

そうすると、物理屋さんはそのコンピュータ言語を黙々と調べて、本物と同じコードを黙々と書くわけや。

物理屋さんの目的あくまでこの世の全てを記述する理論を作る事なんやな。それを誰が書いたかは興味ないんや。

上のはたとえ話やけれど、コンピュータ言語数学に置き換えるとそれっぽい話になるな。

例えば弦理論によるとこの世界11 次元であるわけやが、

これはゼータ関数(n=-1)

1 + 2 + 3 +・・・ = -1/12

を使って導いた結果や。こんな調子数学要請から理論が決まっているんよ。

この世の全てを決めているのが数学なら、数学を作ったのは誰か?っつう話やな。

おっさん数学者さんだとおもってるけどね。数学者さんが神や。

でも数学者さんは「俺が作ったのではなく自然にあった物を発見したのだ!おお!なぜ数学はこんなにも物理に役たつのか?!」

などと言い始めることがあるからね。わかんないねおっさん興味ないけど。



ブコメ

ustam: ここは匿名ウンコの話をする場所やで。せめて仮想グルウンコの話でもしてたらどうや? ところで重力距離反比例するのに距離が0でも無限大にならんのなんでや? 数学証明できてないんちゃうん?



妙にタイミングのいい質問やな・・・わかって質問してるやろ。

あん素粒子屋だな? おっさん匂いでわかるで。

実はな、重力の至近距離の振る舞いはよくわかっていないんや。

実験ニュートンの逆2乗則が確かめられているのは r = 1[mm] 程度なんやな。

不思議なのは4つの力の中で重力だけ異常に小さいというところや。

これを説明する模型が「この世界は高次元空間にあって、重力けが次元を伝播する」というやつなんや

ここで図入りでわかりやす説明されとるんでもっと知りたい人はそっち読んでな。

で、この模型検証しているのが LHC やな。マイクロブラックホール実験って聞いた事あるやろうか?

シュタゲ元ネタや。オカリンタイムマシン作っとったがこっちは余剰次元(高次元)の確認や。

ところがな、外国マスコミさんが「LHCブラックホール世界滅亡」と騒いだんやな。

そんですんごいデモが発生したもんで加速器の皆さんみんな大変だったんや。

おっさんからみんなにお願いがあるんやけどな。もしマスコミさんが「マイクロブラックホール」の報道をしていたら余剰次元実験成功したんやなと心の中で置き換えて欲しいんや。別に危ない事してへんからね。

まあ、おっさんLHC 程度じゃまだ見つからんとおもっとるけどね。

あとこの手の模型を作った人の1人が美しすぎる物理屋こと リサ・ランドール な。

おっさん好みのべっぴんさんや。知らない人は画像検索してみるとええで。

feita: 違う。ロースおじさんはまず最初全く関係ないネタ脱線するの。でその後何故か急に博識ぶりを披露しだして、で最後にまた脱線するの。はいわかったらこリズムでもう一度(鬼畜

なん・・・やと・・ 「グーペおじさん」じゃなくて「ロースおじさん」やったんか・・おっさん素で間違ってたわ。


kitayama: 小4が出てこないので、やり直し

すまんな・・・おっさんロースおじさんじゃなかったんや。グーペおじさんや。かんにんな・・・

2015-08-24

銀河鉄道の夜

「そうだ。おや、あの河原は月夜だろうか。」

そっちを見ますと、青白く光る銀河の岸に、銀いろのゲージ場が、もうまるでいちめん、局所変換にさらさらさらさら、ゆられてうごいて、波を立てているのでした。

「月夜でないよ。銀河から光るんだよ。」ジョバンニは云いながら、まるではね上りたいくらい愉快になって、足をこつこつ鳴らし、窓から顔を出して、高く高く星めぐりの口笛を吹ふきながら一生けん命延びあがって、その天の川繰り込み群の流れを、見きわめようとしましたが、はじめはどうしてもそれが、はっきりしませんでした。けれどもだんだん気をつけて見ると、そのきれいな水は、ガラスよりもニュートリノよりもすきとおって、ときどき正則化の加減か、ちらちら赤いろのこまかな波をたてたり、紫外発散にぎらっと光ったりしながら、声もなくどんどん流れて行き、野原にはあっちにもこっちにも、燐光の固定点が、うつくしく立っていたのです。遠いものは小さく、近いものは大きく、遠いものは橙や黄いろではっきりし、近いものは青白く少しかすんで、或いは自由場、或いは漸近的自由性、あるいは一次相転移臨界指数の形、さまざまにならんで、野原いっぱい光っているのでした。ジョバンニは、まるでどきどきして、頭をやけに振りました。するとほんとうに、そのきれいな野原中の青や橙や、いろいろかがやく固定点も、てんでに息をつくように、ちらちらゆれたり顫えたりしました。

「ぼくはもう、すっかり天の野原に来た。」ジョバンニは云いました。

 
ログイン ユーザー登録
ようこそ ゲスト さん