2024-05-29

[] 事前に精度の許容条件に合意する

何かテキストを分類するようなモデルを作っているとする。

それで、上司デモを見せる。上司モデルが失敗する細かい条件を見つけ出し「ダメだよ君ぃ、こんなものTrueにしちゃうようじゃ」と言う。

これは不毛なやり方である。いつまで経ってもモデルOKサインが出なくなる。

そこで、予め「このテストデータに対し、これ以上の精度が要件」と決めておくほうが良い。ただし、以下も注意。

  • いや上司も君もちゃんと学ぶべきでは? ちょっとちゃんとしたコース取ればモデルの評価方法やるやろ

    • ここに書いた方法が「ちゃんとしていない」と?基本的なことは書いたつもりだが。

      • ちゃんとしてないよ トレーニングデータとバリデーションとテストデータとか基本的なことをやってたら「モデルが失敗する細かい条件を見つけ出し」なんてことにならないでしょ

      • 「このテストデータに対し、これ以上の精度が要件」と決めておく これもおかしいじゃん

    • いくらでもテキスト解説の資料がある時代にコースを勧めるのは無能

  • ## 概要 提示された文章は、機械学習モデルの評価方法に関する重要な指摘を含んでおり、おおむね正しい内容だと言えます。 ## 詳細 上司が細かい条件でモデルの失敗例を指摘し続...

  • 自然言語処理も機械学習的な手法じゃなくて、ルールベースの完全一致でやれば精度100%は容易いで

    • MLモデルはまだ早かったんや

    • 翻訳系で膨大な文を完全記憶してBLEU80達成したとか主張してるバカがネットで叩かれてたね

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん