2022-12-25

信念のエントロピーが最小なら何しても学習しない

証明: ベイズの定理P(H|D) = P(D|H)P(H)/P(D)とし、P(H)=1とP(H)=0の場合証明すれば良い。

P(D|H) = P(H∩D)/P(H)

P(H)=1 → P(H∩D)=P(D)→P(H|D)=P(H)(P(D)/P(H))/P(D)=P(D)/P(D)=1

P(H)=0 → 0*P(D|H)/P(D) = 0

  • 結論に異論ない(同じ状態のベイズ更新は収束する)けどP(H)=1の後の計算合ってるか?

    • P(H)=1のときH∩D=Dと思ったんだけど違う? P(H)=1→H=Uだと思うんだけど。

      • 尤度は関係ないやろ?

        • 尤度が関係あるかどうか知らんが、エントロピー最小(P(H)=1 or 0)のときにはベイズ更新されないということを、ベイズの定理に代入しただけだぞ。

          • いや尤度の事象は変わらんって話。事前確率1って尤度の値そのまま更新するってだけの話だし。 その計算だとP(H)=0のときゼロ除算出てこないか?

            • > いや尤度の事象は変わらんって話。事前確率1って尤度の値そのまま更新するってだけの話だし。 いや、尤度は条件にHを入れてるからHに依存する。で、俺が思ったのがP(H)=1ならH=Uだ...

              • P(D)=sum_H(P(D|H) P(H) )から導出されてるなら問題ない

                • お前がどの計算に混乱してるのかわからんが、定理に単に代入すればそうなるだろ。 俺と同じこと言ってるのがあるからそれ引用するわ。 Once the prior probability is 0 or 1, applying Bayes Theorem...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん