2018-10-12

anond:20181012093212

AIを扱う(作って運用する)人間じゃなくて、AIを訓練するためのサンプルの偏りに依存してるという方が適当かと。

バリデーションが不十分な予測モデルをいきなり実運用したところ、予測結果が偏ったという機械学習ではごく初歩的でありがちな結末。

データ差別的」といのは別にはてな的というわけでもなく、機械学習かじったことがある人には普通に的を射たしっくりくる表現だと思う。

  • サンプルのチョイスで結果に偏りを作れるってことで、運用する人間の政治に利用される運命だにゃー その点、アマゾンがこの情報を公開した事は啓蒙的と言えるかもな。

    • 意図的に学習サンプルの偏りを入れたモデルは作れるけど、少なくともアマゾンのは想定していなかった結果でしょ。

      • うむ、彼らも想定外だったと思うにゃん。 私企業の内部システムだから、公表せず or もっとお為ごかしの公表という選択肢もあったと思うのだ。 だってAIをバブらせたい人が沢山いる昨...

        • 良心的ではあるね。 うがった見方をすれば、AIの誤った運用を抑制するための教育的配慮にも見える。

          • というか何を「誤った運用」と判断するかという話にもなってくるな。 完全に世界の意見を正しくサンプリングできているデータが男性優位の偏見を内在しているとしたら、それを食わ...

            • 最終的な審級は人間にあるのだと、もっと啓蒙されてほしい。

            • 運用が正しいかどうかは当初の目的を遂行できているかどうかで決まる。 Amazonが取りやめたのもそういう理由。

  • 人種や家系と企業のフィット、差別の合理性があって、但し必ずしも文明とは相容れないってだけじゃないの 「正しい」統計処理をすれば望ましい結果以外あり得ないと言ってるみたい...

    • 意図としては、予測モデルが有効に機能するにはテストデータと訓練データとの乖離があってはならない、というごく当たり前の話をしたまで。 「正しい」統計処理以前の話。

      • 有効に機能していなかったという話なんだっけ? 推論とイデオロギーが整合しないので利用を中止したという話じゃなかったっけ?

        • 元記事は予測結果が偏ったということであって、予測結果がイデオロギーとか採用ポリシーと整合しなかったとは書いてない。 https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN

          • 現実と整合した推論が不都合と読めるんだが これはコンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性から...

            • AIによるスコアリングに偏りがあったこと、それが採用担当者による評価と整合しなかった以上のことは言えないでしょ。 イデオロギー的に不都合というなら深読みしすぎかと。ブコメ...

              • 採用担当者による評価と整合しなかったとどこに書いてある? 全く逆だと思うんだが。 採用者と不採用者を与えてクラスタ分析させたら、被差別階級を不採用者と正しく分類し、不都合...

                • 正解。 この10年間の採用者のキャリアとスキルなどレジュメから読み取れるデータを、性別はブラインドした状態で学習データとして与えたと。 そこに女性のデータの与えて、採否を判...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん