  |
はてなキーワード: パラメトリックとは
決定木は、質問を使って答えを見つけるゲームのようなものです。木の形をした図を使って、質問と答えを整理します。例えば、「今日は外で遊べるかな？」という大きな質問から始めます。
まず「雨が降っていますか？」と聞きます。「はい」なら「家で遊ぼう」、「いいえ」なら次の質問に進みます。次に「宿題は終わっていますか？」と聞きます。「はい」なら「外で遊ぼう」、「いいえ」なら「宿題をしてから遊ぼう」となります。
このように、質問を重ねていくことで、最終的な答えにたどり着きます。決定木は、こうした「もし〜なら」という考え方を使って、物事を順序立てて考えるのに役立ちます。
決定木は、機械学習における重要な分類・回帰アルゴリズムの一つです。データを特定の特徴に基づいて分割し、ツリー構造を形成することで、新しいデータの分類や予測を行います。
4. 枝：各ノードを結ぶ線、条件を表す
2. その特徴に基づいてデータを分割
3. 各サブセットに対して1と2を再帰的に繰り返す
4. 停止条件（深さ制限や最小サンプル数など）に達したら終了
決定木の利点は、解釈が容易で直感的であること、非線形の関係性も捉えられること、特徴量の重要度を評価できることなどです。一方で、過学習しやすい傾向があり、小さなデータの変化に敏感に反応する欠点もあります。
決定木は、分類および回帰問題に適用可能な非パラメトリックな監督学習アルゴリズムです。特徴空間を再帰的に分割し、各分割点で最適な特徴と閾値を選択することで、データを階層的に構造化します。
決定木の構築プロセスは、以下の数学的基準に基づいて行われます：
ここで、H(S)はエントロピー、Svは分割後のサブセット、piはクラスiの確率、yiは実際の値、ŷiは予測値を表します。
1. 事前剪定（Pre-pruning）：成長の早期停止
2. 事後剪定（Post-pruning）：完全に成長した木を後から刈り込む
決定木の性能向上のために、アンサンブル学習手法（ランダムフォレスト、勾配ブースティング木など）と組み合わせることが一般的です。
決定木は、特徴空間の再帰的分割に基づく非パラメトリックな監督学習アルゴリズムであり、分類および回帰タスクに適用可能です。その理論的基盤は、情報理論と統計学に深く根ざしています。
決定木の構築アルゴリズムとして最も一般的なのは、CART（Classification and Regression Trees）です。CARTは以下の手順で実装されます：
決定木の拡張：
これらの高度な手法により、決定木の表現力と汎化性能が向上し、より複雑なパターンの学習が可能となります。
決定木は、特徴空間Xの再帰的分割に基づく非パラメトリックな監督学習アルゴリズムであり、その理論的基盤は統計的学習理論、情報理論、および計算学習理論に深く根ざしています。
決定木の数学的定式化：
Let D = {(x₁, y₁), ..., (xₙ, yₙ)} be the training set, where xᵢ ∈ X and yᵢ ∈ Y. The decision tree T: X → Y is defined as a hierarchical set of decision rules.
For classification: P(y|x) = Σᵢ P(y|leaf_i) * I(x ∈ leaf_i)
For regression: f(x) = Σᵢ μᵢ * I(x ∈ leaf_i) where I(·) is the indicator function, leaf_i represents the i-th leaf node.
決定木の最適化問題： min_T Σᵢ L(yᵢ, T(xᵢ)) + λ * Complexity(T) where L is the loss function, λ is the regularization parameter, and Complexity(T) is a measure of tree complexity (e.g., number of leaves).
H(Y|X) = -Σᵧ Σₓ p(x,y) log(p(y|x))
I(X;Y) = H(Y) - H(Y|X)
2. ジニ不純度：
Gini(t) = 1 - Σᵢ p(i|t)²
MSE(t) = (1/|t|) * Σᵢ (yᵢ - ȳ_t)²
1. 一致性と収束速度： 決定木の一致性は、Breiman et al. (1984)によって証明されました。収束速度はO(n^(-1/(d+2)))であり、dは特徴空間の次元です。
2. バイアス-バリアンストレードオフ：深い木は低バイアス・高バリアンス、浅い木は高バイアス・低バリアンスとなります。最適な深さは、バイアスとバリアンスのトレードオフによって決定されます。
3. 決定木の表現力：任意のブール関数は、十分に深い決定木で表現可能です。これは、決定木がユニバーサル近似器であることを意味します。
4. 計算複雑性理論：最適な決定木の構築はNP完全問題であることが知られています（Hyafil & Rivest, 1976）。そのため、実用的なアルゴリズムは貪欲な近似アプローチを採用しています。
5. 正則化と構造リスク最小化：L0正則化（葉ノード数のペナルティ）やL2正則化（葉ノードの予測値に対するペナルティ）を用いて、構造リスク最小化原理に基づいたモデル選択を行います。
6. 情報幾何学的解釈： 決定木の学習過程は、特徴空間上の確率分布の漸進的な分割と見なすことができ、情報幾何学の観点から解析可能です。
7. カーネル決定木：非線形カーネル関数を用いて特徴空間を暗黙的に高次元化し、より複雑な決定境界を学習する手法です。
8. 量子決定木：量子コンピューティングの原理を応用し、古典的な決定木を量子系に拡張した手法です。量子重ね合わせを利用して、指数関数的に多くの分岐を同時に評価できる可能性があります。
これらの高度な理論と技術を組み合わせることで、決定木アルゴリズムの性能と適用範囲を大幅に拡張し、より複雑な学習タスクに対応することが可能となります。
その中で、自分は統計学が好きでマニアックなところまで勉強しているので、ミーティングでどうしてもムズムズするところがある。
両側検定じゃなくて片側検定だろ、とか試行回数何回くらいまでじゃないと近似できないだろだとか。
パラメトリック検定ならこうやる、ノンパラメトリック検定ならこうだなとか。
正直、周りのエンジニアにとったらそれっぽい値が欲しいだけで焦点は製品の中身にあるわけ。
細かく言うと第一種の誤りを犯さなければ第二種の誤りはそこまで気にしないわけ。
だから話し合いの途中に検定方法の細かい突っ込みをしても「自分はわかってますよアピールうぜー」としか思われないだろうし本題から脱線するだけで誰も幸せにならない。
口を挟むわけにはいかない。でも自分は凄く気になる。気になって仕方がない。
あぁモヤモヤする。
Eカップを例にとる。
B:AV女優
とすると
P(E|A) = 0.1
P(E|B) = 0.19
となる。
全女性に対するAV女優の割合は、適当にググったところ0.4%とからしい。めんどくさいんで0.5%とすると
P(A) = 0.995
P(B) = 0.005
だ。これらをベイズの定理に代入すると
p(B|E) = P(E|B)P(B)/(P(E|A)P(A) + P(E|B)P(B)) = 0.0095 = 0.95%
となって、若干確率が上昇することがわかる。
ちなみに、より極端な場合でGカップを例にとると
p(B|G) = 5.6%
となって、10倍くらいになるね！
ベイズのいい練習になった
【追記】
実際は、観測データのヒストグラムから分布関数を推定する問題をまず初めに解く必要があると思う。
結構裾が長い分布だから、正規分布じゃなくてポアソン分布あたりでパラメトリック推定すればいいか？
どうもあなたのバックグラウンドがよくわからない。
まぁ基本的な線形(偏)微分方程式をフーリエ級数等の直交系で展開して解析するくらいなら余裕だけど、それだけじゃどうにもならないんですよ。統計的予測だってパラメトリック分布で最尤推定するくらいならいいけど、隠れマルコフモデルを変分ベイズ法で扱うなんて話まで半年でできるほど頭良くないんです。
それだけわかってるなら変分ベイズ法なんて難しいことは少しもないように思うけれど。所詮、統計的モデルを推定してるだけの話だし、変分法ってのはパラメータが無限次元になっただけだと思えばいい（実際そうだが）んだから。
そんなのは管理職になって技術上の第一線を離れてからでいいと思うけれど。
資金の流れがわからなければ投資はできないし、
投資なんてする必要ないでしょう。せいぜい国債でも買っておけばいい。金融工学の入門書を読んでみた感想としていうのだけれど、理論にぶち込むべきデータを収集するだけでも大変だし、あの理論はだいぶ仮定が乱暴なので現実に合わせようと思えばその都度の手修正が必要だし、いずれにしても素人が下手に手出しをすると火傷するだけだと思った。あんまりそんなに何でもかんでも手を出して器用貧乏にならない方がいいと思いますよ。
敢えてマジレスするなら、最適化とか微分方程式とか統計的予測とかプログラミングとかアルゴリズムなんてのは大学学部半期分ぐらいの内容だからすぐマスターできるはずだし
いやあ、それをすぐマスターできるほど俺頭良くないんですよ。まぁ基本的な線形(偏)微分方程式をフーリエ級数等の直交系で展開して解析するくらいなら余裕だけど、それだけじゃどうにもならないんですよ。統計的予測だってパラメトリック分布で最尤推定するくらいならいいけど、隠れマルコフモデルを変分ベイズ法で扱うなんて話まで半年でできるほど頭良くないんです。プログラムやアルゴリズムはごく最近始めたばかりなんでやってるんですが。
経済と金融は勉強すべきだと思いますがね。財務諸表を読めないようじゃビジネスする上で話にならないし、仮に証券会社がまともになったとしても、学生に毛が生えた程度のイケイケドンドンの営業マンのコンサルティング(笑)に手数料払うなんて馬鹿げてますよ。資金の流れがわからなければ投資はできないし、産業の動向が読めなければ自分の仕事をどういう方向に進めていくかを決める際に支障がでます(例えば、現状で半導体産業に手を出してしまったりしかねない)。まぁそれらを全てフォローした上で、数理経済学の専門的な部分までは勉強する必要は無い、と言うのであればその通りだと思います。
