「AUC」を含む日記 RSS

はてなキーワード: AUCとは

2022-02-17

論文読んだ

岩手県におけるイノシシ Sus scrofa の分布拡大の変遷と出没確率予測

https://www.jstage.jst.go.jp/article/mammalianscience/62/1/62_21/_pdf/-char/ja

https://doi.org/10.11238/mammalianscience.62.21

言葉定義

目撃メッシュ

目撃メッシュ数 の意味が書かれていないので、読みづらいです。

5kmx5kmを一つの区間として、その区間で目撃がすくなくとも1回以上あった区間の数のことで良いのでしょうか?

図1を見ると目撃メッシュ数に対して、目撃件数が3倍程度あるので、1区間で平均3回の目撃があったという意味でしょうか?

テクニカル問題

一般に、AUCは未知のデータに対するモデル予測の精度を比較します。言い換えれば、学習データと未知のデータデータを区切って、学習データを使って学習をおこない、その後未知データをつかってAUC計算します。

今回の場合、5種類の環境データの選別を行うために、すべての出没データ学習させたモデルを使ってAUC比較しています。この場合、どのデータから予測させてAUC計算したのかが不明です。学習に利用したデータから予測をおこないAUC比較した場合、未知のデータに対する予測ができていません。なので、どの環境データを使うのが未知データへの予測に対して良い効果をもたらすのかを結論付けることはできていません。

最終モデルAUCは?

2007 年~ 2017 年のデータから、2018 年および 2019 年の予測を行っていますが、そのさいのAUC不明です。どの程度の精度だったのかが不明です。書くべきです。

予測に適したデータ量を検討するために,

この部分もAUC比較を行うべきです。比較するAUCが無いのに、データが多いほうがよいという結論は出せないと思います

からなかったこ

出没確率からTrueFalseを判定してAUC計算しているはずですが、その閾値はどのようにきめているのだろうか?

出没確率からTrueFalseを判定していますが、その閾値はどのようにきめているのだろうか?

データの中身

出没と出没しなかったメッシュの数。場所による偏り。

ディスカッション部分

"出没予測は,実用可能レベル"と書かれてますが、何に使うのかがわかりません。目的達成のために必要な精度も記載がなく不明です。そのため、本当に実用可能なのかがわかりません。

感想

1

元のデータを使って人間予測した方が、当たるのではないだろうか。

場所に対する精度が荒いという問題があり、実用可能問題が限られると思います

AUCが書かれてないので、精度がいいのか悪いのかが判断できません。

2環境データを入れた意味はあったのか

また、付録を見ると、イノシシの出没はほぼ同じ場所であるイノシシデータだけを使っても同じ精度で予測ができるのではないだろうか?

また、逆に、環境データのみから、出没場所推定できるのではないだろうか?2011年までの出没データと、2019年までの環境データ入力すれば、高い予測可能なのではないだろうか?

3

2007-2015年と2007-2019年学習モデル予測した確率分布図がほぼ一致しているのが面白い

イノシシデータではなく、環境データのみでも予測可能であるということを意味しないだろうか。

いずれにしても学習データ検証データをわけることそして、AUCによる比較検証必要だと思う。

4

AUCがどのような計算を経て出たものかがいまいちよくわからなかった。

 
ログイン ユーザー登録
ようこそ ゲスト さん