  |
はてなキーワード: カーネル法とは
あと一応指摘しておくとわざわざ回帰の式にφを使っているのは何か意味があるんだろうか？y=ax+εとせずわざわざφとか使っている時点で非線形関数を考えているのかと思うが、例えばφ(x)=x^2などとすればσ=0でも相関がとても小さくなる例が作れる 急にカーネル法の話でも始めるつもりだろうか
軽い気持ちで相関って書いたら突っかかられて面倒になってきたな
コメントでの記法に準拠するけど、ここで相関の強さという語は普通想定されると思われる相関係数の大小を指していると想定する
まず回帰の確率モデルがxを確率的に扱わないというのは単に解きやすいから初等的にはそういう仮定を置くというだけであって、一連の変数誤差モデルなどx側にも誤差の入る確率モデルは普通に使われている
あとこういう統計推論の文脈で用いられる「分散」という語は確率変数の分散ではなく標本分散なので、背後に何の確率モデルを仮定するかどうか関係なく形式的に計算される xが広がれば標本分散は大きくなるので分散と無関係という説明も意味が分からない
一応指摘しておくとわざわざ回帰の式にφを使っているのは何か意味があるんだろうか？y=ax+εとせずわざわざφとか使っている時点で非線形関数を考えているのかと思うが、例えばφ(x)=x^2などとすればσ=0でも相関がとても小さくなる例が作れる 急にカーネル法の話でも始めるつもりだろうか
もともとの文脈では分散の話をしていなかったし、（あなたが持ち出した）分散という語を使って議論するのが正しいわけではないと思うが、単に相関係数は分散でスケーリングをかけているので（あなたのいうところの）分散も考慮している、という程度の意味で書いた。そもそも回帰係数と相関係数は別の概念でしょう
分散は単にスケーリングとしてしか作用しないから、おそらくあなたの言いたかったことは分散ではなく分布を考慮できるかどうかではないかと思うが、共分散部分が分布の影響をきちんと考慮してくれている。
あと相関の強さについても度合は何も言及していなかったのに、突っかかりたいだけでしょうあなたは
他人に向かってバカをさらしちゃったなとか嘲る前に、その程度の知識でマウントを取ろうとするのをやめたほうがいいと思う
凸最適化になってるか(なってない場合に一般的に最適化をどう構成するか)とか、カーネル法で非線形に写像した嵜が気軽に"無限次元"とかいうけどどういう意味で無限なのか(例えばそもそもその"内積"は写像したさきの空間で完備化されてるのか、もっと言えば可分なヒルベルト空間でなければ高々可算個の直交基底の存在すら一般には言えないけど計算機で表現するときには有限次元で近似するわけでそのへんどうするのか)とか、そういう数学的に素性のいい空間での議論になってないと色々厳しい気が。(いや私もﾃﾞｨｲｲｲｨｨｰｰｰﾌﾟﾗｰｰｰｰｰﾆﾝｸﾞは全然知らないのでそのへんどうなってるのか無知なんだけど)
なんか話が合いそうだなと思ったので返信。増田なのがちょっと勿体ない気もするけど。
ちなみに俺のバックグラウンドを書いておくと、学生時代の専攻は工学系なんだけど、それにしてはオーバースペックなぐらい数学をかじってた感じの方面。あんまり詳しく書くと特定されそうなんでこの程度で勘弁ね。
"Pattern Recognition and Machine Learning"のビショップも物理出身だけど、あの年代は確かにそういう色が強かったのかもしれない。
確かにその種の傾向は上の世代までかもしれないね。
ビショップが物理出身なのは知らなかったけど、それ聞いてなんか合点のいく気がした。何か妙に数学へのマニアックなこだわりの片鱗が見える割に、数学屋から見ると妙な記号法を使うんだよね、あの人。
全然高度じゃないです＞＜
いや、だからあくまで「工学として」ね。線型代数と、微積の「計算」以外を使うことって工学ではそうないでしょ（フーリエ変換とかだって工学の文脈では所詮「計算」だもんね。）。
制御理論とか機械学習では、関数解析の概念がちょっとだけ出てくるけど、あんなんでも数学屋にとってはオアシスだね。
もっとも、カーネル法関係ではいつも申し訳程度にMercerの定理が言及されているのを見ると「なんだかなあ」っていつも思うけど。
そうそう、あれに限らず統計学の理論の一部にはものすごく違和感あるんだよね。
増田だから書けるけど、情報幾何なんて「お前、双対接続って言いたいだけちゃうんかと」って感じだし、他にも色々、何でも抽象化して一般化すりゃいいってもんじゃないんだぞと言いたくなることが色々。
統計学の理論と機械学習・パターン認識の関係は、数理物理・理論物理と実験物理の関係に似てる気がするんだよね。しかも統計学の場合、普遍的に綺麗な構造なんてものがあると思えないだけに余計に始末が悪い。「ひも理論は実験で検証できないから科学ではない」って批判があるらしいけど、統計学にも同じ批判されても仕方ない理論が色々あるよね。データから何かを推定する理論なのに、データがどれだけあっても実用的には絶対まともな結果が出せないモデルとか。
CVのレイトレーシングで経路積分使って云々というのもあったけど（その人はGoogleに言ってアドセンスかなんか作ってるらしい）、あれもまぁ適当なパス空間で平均とるだけって感じがするし…。
CVはまあ何でもありの世界だよね。誰か無限次元リー群とか使ってみてくれないかなと思う。というか俺自身が一度やろうとして無意味なことに気づいてやめたんだけどさ。
イジングモデルとかその辺は不勉強なんであまりよく知らないんだけど、一般的にその手のモデルは、性能が変わらないだけならいいけど、計算量がどうとかデータ量がどうとかで事実上使えなかったりすることが多いんだよね。着想として物理からアイディアを持ってくるのはいいんだけど、物理から持ってきたアイディアなら必ず筋がいいはずみたいな思いこみ（そう思いたくなる気持ちはよくわかるけど）はどうかと思う。
普通に日本の伝統的新卒採用でそういう会社に行く人はいるけど、やってることは工学とかあるいは良くわからない専攻の人と同じな気がする。これはちょっと曖昧だけど。
うん、そうなってしまうのは仕方ないでしょうね。
ただ逆に、変わり種のバックグラウンド持ってる人は道具箱が豊富だから、新しいこと思いつく可能性もあるわけで、採用されるとしたらむしろそれを買われてじゃないかな。俺自身、工学部の人は普通は絶対知らない数学を色々知ってるので、それをどうにか武器にできないかいろいろ試行錯誤中だよ。というか特許とかの形で発表したのもすでにあるけどね。
特に情報系の分野は実装力で評価されることが多いし…。実装力は数値計算得意とかそういうのとは全く別のスキルだよね。プログラミングマニア的な要素が必要。
分野にもよるけどね。情報システムや計算機自体を専門にして、ハードとかインターフェイスに近い部分をやってたらどうしてもそうなるけど、信号とか画像とか音声とか言語とかの処理のコア部分を作るときにはコーディング能力よりも紙と鉛筆の能力の方が大事・・・、だと思いたい。
どうもパソコンマニア的気質は中高生のときに飽きてしまって、「PCパーツの種類とか流行の言語とか覚えたってどうせ10年したらすぐに廃れるんだから」という感じで、余りはてな民的に新しいネタ追いかけたくないんだよね。クロージャって何ですか、ああそうですね閉包ですね、集合の内部と境界の和集合ですねっていう感性の持ち主なので。正直、コーディングは単純作業と認識してます。
(countableだと)なんとなくカーネル法とか使って主成分分析とかできそうな気がするじゃん。知らないけど。
