  |
はてなキーワード: テストとは
言ってないことを言ったことにするのやめてもらっていいすか？
いいか、ブラックボックステストをするために、マニュアルでテストデータを作成する
これが俺がずっと言ってることね
はい、交差検証法はホールドアウト分割を繰り返し行う手法です。
## 交差検証法の手順
1. データセットを複数のフォールド(部分集合)に分割する。[1][2]
2. 1つのフォールドをテストデータ、残りをトレーニングデータとしてモデルを構築する。[1][2]
3. テストデータでモデルを評価し、評価指標(精度など)を記録する。[1][3]
4. 2と3を、すべてのフォールドが1回ずつテストデータになるまで繰り返す。[1][2]
5. 各フォールドでの評価指標の平均を最終的な評価値とする。[1][2][3]
つまり、交差検証法はホールドアウト分割(トレーニングデータとテストデータに分割)を複数回行い、その結果を平均化することで、より信頼性の高い汎化性能評価を行う手法なのです。[1][2][3]
この繰り返しによって、特定のデータ分割に左右されずに、より客観的な評価ができるというメリットがあります。[1][2]
代表的な交差検証法には、k分割交差検証やLOOCV(Leave-One-Out Cross-Validation)などがあり、データ量に応じて使い分けられます。[1][2]
Citations:
[1] https://shoblog.iiyan.net/cross-validation/
[2] https://ja.wikipedia.org/wiki/%E4%BA%A4%E5%B7%AE%E6%A4%9C%E8%A8%BC
[3] https://qiita.com/RyutoYoda/items/4ca997771e99d6c39ddb
[4] https://aiacademy.jp/media/?p=263
はい、Kaggleのようなブラックボックスのリーダーボードで評価する現場は存在します。
機械学習モデルの評価には、一般的に以下の2つの方法があります。
1. **ホールドアウト評価**: 学習データを訓練データとテストデータに分割し、テストデータでモデルを評価する方法。[1]
2. **ブラックボックス評価**: 評価用のデータセットが公開されず、サーバーにモデルを提出して評価される方法。Kaggleのコンペティションがこの方式。[1][2]
つまり、Kaggleのようなブラックボックス評価は、機械学習の様々な現場で採用されている評価方式の1つであり、特に実運用に近い評価が求められる場合に有効な手段となっています。[1][2][3]
Citations:
[1] https://qiita.com/Shun_PI/items/896d05ed9689f4b24347
[2] https://www.kikagaku.co.jp/kikagaku-blog/kaggle-competition/
[3] https://www.kikagaku.co.jp/kikagaku-blog/signate-competition/
[4] https://www.topgate.co.jp/blog/google-service/8707
[5] https://www.jst.go.jp/crds/pdf/2023/RR/CRDS-FY2023-RR-02.pdf
コンペみたいにリーダーボードで評価するようにするんだよ、知らんのか？
訓練データの分布が、99%がTrueで1%がFalseってタイプのやつだとするだろ？
それでそのまま評価するにしろ、F1を使うにしろ、実用の精度の評価は難しいんよ
F1で評価するにしても、それは「ランダム分類機よりは汎化性能が高い」ということならわかるが、実用判断だと「Falseの見逃しは減らせ！」ってことが結構ある
不均衡に関しては、テストデータを作る際のラベルの分量のバランスを気をつけろという話ね
## 概要
提示された文章は、機械学習モデルの評価方法に関する重要な指摘を含んでおり、おおむね正しい内容だと言えます。
## 詳細
### 精度基準の設定
## 総括
提示された文章は、機械学習モデルの評価における重要な原則を適切に指摘しており、おおむね正しい内容であると言えます。モデル評価の際には、これらの点に留意する必要があります。
ちゃんとしてないよ
トレーニングデータとバリデーションとテストデータとか基本的なことをやってたら「モデルが失敗する細かい条件を見つけ出し」なんてことにならないでしょ
それで、上司にデモを見せる。上司がモデルが失敗する細かい条件を見つけ出し「ダメだよ君ぃ、こんなものをTrueにしちゃうようじゃ」と言う。
これは不毛なやり方である。いつまで経ってもモデルにOKサインが出なくなる。
都知事は実績、というと、実績なんかないという人たちがいる。
一方では対立候補は実績というとあまりにも皆さんには事業仕分けが思い起こされるのが困ったところだ。
小生の立場をいうと、立憲全員が嫌いではないがこのひとはちょっと勉強が足りてないことを感じるひとだ。
政治家としての思いみたいなものを感じない。まあそれは都知事も同じでテレビのキャスターなどから出てきた人共通かもしれない。
まあどちらにしても、”やったことはやったこと”として、やったことで得をしているひともいることは見逃してはいけないと思う。
例えば東京五輪のレガシーもあるひとたちにとっては非常に得なレガシーになっている。
例えば晴海の選手村の跡地を買ったひとやそのための交通などの整備によって恩恵を受けているひとたちはいる。
また、高校生の無償化などは、当然限られた財源でやる以上何を削ったのかも明らかにすべきことだ。
それがマスコミの報道では全く伝わってこない。なぜ？もし何も削ってないならいいけど、そんなことはあるのだろうか？
高校生の英語のテストにしても、得をしたひとはいるわけですよ。ようはそういうことを明らかにしていくことで、都知事は誰のための政治をこの8年間やってきたのかが明らかになるでしょう。
