2018-10-12

機械学習は、まるで理解されていない

anond:20181012093212

AIの仕組み自体人間能力を遥かに超えたものかもしれないし、それによって社会利便性を更に向上させるものであるかもしれないけれど、そのAIを設定するのは人間だということ。

その人間男性優位社会で育ってくれば当然男性優位AI爆誕するんだし、

AIを扱う人間競争を勝ち抜いた一握りのエリートばかりだったら、

当然AIは一握りのエリートに偏ったエリート優位AIになるのだから

リンクしたアマゾン採用AIの件を含めて、機械学習の仕組みを理解してるとは思えない。AIに対する現状の理解として、この表現はありえない。

id:fujii_yuji 機械学習の仕組みをご存知ないようですね。Amazonのは過去データからそうなったのであって、設計者の思想が反映されたのではないでしょ。 > "当然男性優位AI爆誕する(略)AIは一握りのエリートに偏ったエリート優位AI"

id:fujii_yuji さんは、概要理解しておられる様に思える。ブコメを見る限りで言えば、はてなー理解度は1割程度といった感じがするけど、本当はもうちょっといるかも。

機械はひらめきは獲得していない。

機械は未だに設計に従って自発的に成長し新たな発明を行う様な、いわゆる、ひらめきは獲得していない。今のAIと呼ばれているものは、学習したデータを参考にして、入力されたデータに対して最適な分類を行うことが出来るという程度の物。

モーリス・コンティ: 直感を持った人工知能が生み出すすごい発明 | TED Talk

例えば、この動画を見て欲しい。オブジェクト設計するコンピュータが行うのは、与えられたアルゴリズムに従って答えを出す事だけだ。どんな形にしたいのかという目的、どんな材料を使うのかという制約、それを与えられると、高い強度とより少ない重量で目的を達成しろという最適化問題を解く。結果として、その答えが人間が持つ常識を裏切る答えを出した事に対して「直感を持っている」と言っているにすぎない。アルゴリズム作成した研究者には、常識的な設計を裏切る答えも、理解できるものであり納得のいく答えでしかなかったはずだ。

将棋人工知能が行う計算とは何か?既存棋譜を大量に予め学習し、現在進行中の将棋の盤面上で起こり得る可能性のある駒の配置パターンを1手1手進めながら、棋譜と照らし合わせ、一手ごとに勝ちやすさがどの程度高まっていくか?を計算する。研究者は、盤面に表れる駒の並びを、どの様に評価するのか?駒を動かすごとに増えていく全てのパターンから、どこまでを用いて、何を捨てるか、評価選択を行うアルゴリズム機械に与える。その結果として現れた奇想天外な一手も、研究者にとっては蓋然性の高い答えでしかない。(あくま一般的人工知能の話だが)

ポリコレ科学を歪める

完全に想像しかないが、アマゾン採用AIは、10年分の採用者の履歴書の中から学歴や経歴、職務内容、スキルなどの性別依存しない情報採用後の実績を学んだのではないか研究者馬鹿ではないから、初めから性別情報など使っているとは思えない。これまで採用した人物男性が多かったことは間違いなく影響があったという事は言えるが、可能な限り男女ごとのサンプルサイズの差に引っ張られる事なく、性別には中立な結果を出すように、用いるべき学習データアルゴリズム設計していると予想する。それでも、性別を隠されたある個人履歴書から採否を判定した時に男性優位の答えを出したのは、活躍する社員男性が優位になる傾向があったということ。その現実ポリコレとの間で齟齬をきたした場合に、計算結果としては蓋然性の高い納得できるものでありながらも、不誠実な結果と言われてしまった研究者の悔しさはいかばかりだっただろうか?

女性が優位になる様にアルゴリズムを作り直すときに、自分科学者として真実に背を向けた事を理解したはずだ。にもかかわらず、どれほど女性優位のバイアスをかけてもAIが正しい答えを求める以上は男性優位の結果は覆らない、とマネージャー判断して、非難を避けるために開発を停止した時の、その悔しさは想像するに余りある

この件で、改めて、ジェンダー論は滅びろと心から思った。科学者には、政治的正しさではなく、真実を追求させてくれ。科学とは時に残酷なほど正しいものだ。

修正、補足事項

steel_eel 日本語ニュースで書いてたか知らんが、英語の方でみたが『××女子大学』『女子××部部長』とかを低評価してたみたいで、わりとダイレクト性別を他の手がかり(というほどでもないか?)から判断して下げてた模様。

情報ありがとうございます徹夜明けでして、ソース未確認で書いてますので、適当な事をいいますすみません

もしも学習データに、女子○○部長、というデータが入っていた場合マイナスにする様なアルゴリズムを入れていたとは考えにくいです。というのは、そうであれば性別のものを負のファクターにする方が早いです。ですので、他の素因でマイナスにせざるを得ない(不採用だった、あるいは解雇したなど)人物女子○○部長情報が結びついてしまったのでしょう。つまり現実採用では女性である事をマイナス評価せざるを得ない様な学習データになっている、それを修正しようと思うと、女性データのもの学習データから除外するしかないですが、そんな事をすれば、アマゾン女性の居ない世界仮定しなければ女性採用できないという、矛盾にぶつかってしまますね。

これではなく、入力情報女子という単語が入っている場合に直接マイナスした場合。前述の理由性別のものマイナスにしたのと同等でしかなくなります。これなら修正は容易ですので、そうではないでしょう。おやすみなさい。

uncorrelated サンプル数ではなくサンプルサイズでお願いしま

サンプル数警察!!

ごめんなさい。ふざけました。修正させていただきます

記事への反応 -
  • やっとはてなーがAIに疑問を持ってくれたよ

    AmazonのAI人材採用システムが女性差別的だったというニュースを見て、ようやく。 http://b.hatena.ne.jp/entry/s/jp.reuters.com/article/idJPKCN1ML0DN 私のイメージでははてな村民のAIに対する認識とい...

    • 機械学習は、まるで理解されていない

      anond:20181012093212 AIの仕組み自体は人間の能力を遥かに超えたものかもしれないし、それによって社会の利便性を更に向上させるものであるかもしれないけれど、そのAIを設定するのは人...

      • anond:20181012235158

        AIをみんな自分勝手に都合の良い存在・概念に捉えてるんじゃね、という意味では元増田の趣旨と何ら変わりはないと思うが、 まあ結局AIも「人間様のお気持ち」には絶対に勝てないって...

      • anond:20181012235158

        やっぱり今のAIは統計的手法との区別付かないなー 奈倉と柏木のどちらの文章か判別するAIは作れても、奈倉または柏木の書きそうな文章を作るのはまだ難しい 昔行った勉強会で聞いた...

        • anond:20181013070430

          付かないというか、流行りのディープラーニングは「統計ツールを画像に使ってみた」なので実際に統計。

      • anond:20181012235158

        今まで男が技術革新をしてきたのだから男が優位にされて当たり前じゃねーの

      • anond:20181012235158

        もともと男女の応募数の割合と採用数の割合それぞれに環境的あるいは社の採用ポリシーによるジェンダーバイアスがあって、 予測モデルがそのとおりにスコアリングしたなら、結果的...

      • anond:20181012235158

        >>> 活躍する社員に男性が優位になる傾向があったということ。 <<< 「活躍できるポジション」がきちんと実力主義で男女平等に割り振られてれば成立するけど、 評価するの...

        • anond:20181013095310

          データだけじゃなく、実際の社風が不平等なんでしょ。AIは王様の写真を撮ってしまった。

      • anond:20181012235158

        いや、性別という特徴量と女子なんとか部長は別の情報だろ。 お前カグル何メダル?

      • anond:20181012235158

        要は「今まで人力で高く評価してきた人を機械に高く評価させる」だけだからバイアスはそのままだし、革新的な人材も見付けられないんだよなあ

      • anond:20181012235158

        つまり増田はAIが出した男の方が優秀という答えが真実だと言いたいの? 馬鹿か。ただのよくある学習データが使えない問題だろうが

      • 人材採用AIは男女差別AI 説。

        https://anond.hatelabo.jp/20181012235158 https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN プログラミングもAIも素人知識なんだけど 増田やブコメの流れに違和感が有るので。    予想イ: Amaz...

        • anond:20181013231644

          文章がへたでよく分からなかったけど どういった基準で人を採用しようとしたかが分からないとなんともいえないよ 「肉体的にタフで休みが少ない」みたいな条件があったらそりゃ男性...

    • anond:20181012093212

      ブクマカアホすぎわろた

    • anond:20181012093212

      基本AIは称賛メインだったと言っても主語はさほどデカくはなかろう。 いやデカいだろ。 そりゃAIの成果に対する記事には称賛一色になるが、 (近年のAI研究には何の成果もないとま...

    • anond:20181012093212

      政治がきちんとしないとAIは危険。 政治がきちんとしないと原子力は危険。 政治がきちんとしないと医療は危険。 政治がきちんとしないと車社会は危険。 何か問題が? AIの問題...

    • anond:20181012093212

      AIを扱う人間じゃなくて、AIを訓練するためのサンプルの偏りに依存してるという方が適当かと。 バリデーションが不十分な予測モデルをいきなり実運用したところ、予測結果が偏ったと...

      • anond:20181012121150

        サンプルのチョイスで結果に偏りを作れるってことで、運用する人間の政治に利用される運命だにゃー その点、アマゾンがこの情報を公開した事は啓蒙的と言えるかもな。

        • anond:20181012122517

          意図的に学習サンプルの偏りを入れたモデルは作れるけど、少なくともアマゾンのは想定していなかった結果でしょ。

          • anond:20181012122800

            うむ、彼らも想定外だったと思うにゃん。 私企業の内部システムだから、公表せず or もっとお為ごかしの公表という選択肢もあったと思うのだ。 だってAIをバブらせたい人が沢山いる昨...

            • anond:20181012125141

              良心的ではあるね。 うがった見方をすれば、AIの誤った運用を抑制するための教育的配慮にも見える。

              • anond:20181012125627

                というか何を「誤った運用」と判断するかという話にもなってくるな。 完全に世界の意見を正しくサンプリングできているデータが男性優位の偏見を内在しているとしたら、それを食わ...

                • anond:20181012161835

                  最終的な審級は人間にあるのだと、もっと啓蒙されてほしい。

                • anond:20181012161835

                  運用が正しいかどうかは当初の目的を遂行できているかどうかで決まる。 Amazonが取りやめたのもそういう理由。

      • anond:20181012121150

        人種や家系と企業のフィット、差別の合理性があって、但し必ずしも文明とは相容れないってだけじゃないの 「正しい」統計処理をすれば望ましい結果以外あり得ないと言ってるみたい...

        • anond:20181012130515

          意図としては、予測モデルが有効に機能するにはテストデータと訓練データとの乖離があってはならない、というごく当たり前の話をしたまで。 「正しい」統計処理以前の話。

          • anond:20181012185219

            有効に機能していなかったという話なんだっけ? 推論とイデオロギーが整合しないので利用を中止したという話じゃなかったっけ?

            • anond:20181012212120

              元記事は予測結果が偏ったということであって、予測結果がイデオロギーとか採用ポリシーと整合しなかったとは書いてない。 https://jp.reuters.com/article/amazon-jobs-ai-analysis-idJPKCN1ML0DN

              • anond:20181012214601

                現実と整合した推論が不都合と読めるんだが これはコンピューターモデルに10年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性から...

                • anond:20181012224310

                  AIによるスコアリングに偏りがあったこと、それが採用担当者による評価と整合しなかった以上のことは言えないでしょ。 イデオロギー的に不都合というなら深読みしすぎかと。ブコメ...

                  • anond:20181012230901

                    採用担当者による評価と整合しなかったとどこに書いてある? 全く逆だと思うんだが。 採用者と不採用者を与えてクラスタ分析させたら、被差別階級を不採用者と正しく分類し、不都合...

                    • anond:20181013025625

                      正解。 この10年間の採用者のキャリアとスキルなどレジュメから読み取れるデータを、性別はブラインドした状態で学習データとして与えたと。 そこに女性のデータの与えて、採否を判...

    • anond:20181012093212

      ほんともう、みんなもっとSF読めよ。

    • anond:20181012093212

      男を優先するようになったのは応募者が男性ばかりだったからって理由が書かれてるのに これが差別的だと言うのなら応募受付をかならず男女交互にしろとでも言うのか

      • anond:20181012132203

        男のデータを削って男女同数にするくらいはしてるはずで、Amazonですら性別で低評価されやすいのが現実なんだろう

    • anond:20181012093212

      はてなーは一昔前Web2.0とかいってネットが社会を良くするなんて妄想を真に受けてたやつらだぜ…

    • anond:20181012093212

      違うな。我々はてなーが望むAIに、現実のAIが着いてこれていないのだよ。

    • anond:20181012093212

      まあ一理あるかも こういうinputに対してこういうoutputが出るように〜って予め期待する結果があって、 それに沿うように調整されるから結局いじる人によるのは確かにそうかもしれん ...

    • anond:20181012093212

      何でもイラレで片付けようとする人って困るよね

    • anond:20181012093212

      既存のデータを組み合わせるだけの機能しかまだ無いのに素晴らしい頭脳があると思ってるのがマジモンのガイジ

    • anond:20181012093212

      これは技術が追いついてないだけじゃん 定性的な評価は将来的にはAIがすることになるよ

      • anond:20181012205413

        その定性的な評価とやらに対してポリコレ社会がNOを突きつける未来の一端が垣間見えているという話では

        • anond:20181013011421

          はてサとして補足するとスコープの違いだと思う 社会的正しさは十年百年スパンの人類の繁栄のためなので四半期単位の行動戦略との整合が保証されないんだと思ってる

    • anond:20181012093212

      生理というものがあるから女は毎日全力を出せない 体力という概念がある時点で男の方が優秀 最上位学力だって男の方が圧倒的に多い 全体を見れば、女が男に勝てる日は来ない

    • anond:20181012093212

      AIもだけど自動運転車に対して脳死で絶賛してる人が多い印象

    • anond:20181012093212

      NNとか言われてもAIと統計的手法の区別が付かない勢なので、学習データの問題だよなー、としか思えない ほんと何が違うんだろ

      • anond:20181012231428

        都合のいい結論を導くためのデータセットも用意できるけど それって人工知能ではないからね…

        • anond:20181012231720

          人工知能て何だろうか悩む

          • anond:20181012233202

            お前みたいな無学で学ぶ気もない奴が気にする必要はない もう寝ろ お前の知らないうちに全て変わる

          • anond:20181012233202

            広義の人工知能は数理論理学用語で書き下した生物のおもしろ機構 狭義のディープラーニングは都合よくフィットさせた多対多の写像

            • anond:20181013121620

              あー、写像か なるほど

              • anond:20181013121903

                単位換算表みたいなもんだよ。 サンプル入力、サンプル出力、白紙の換算表の形を与えて、入力を表に沿って換算した結果がサンプルと最も近くなるように計算機に表を埋めさせるのが...

    • anond:20181012093212

      AIの究極は人間やからな プログラマブルなyes/noから偏るからAI 日本特有の「勝手なアホ概念」で語るからおかしくなる

    • anond:20181012093212

      AIはアルゴリズム次第でいか様にもなる。 所詮は機械を使った統計処理に過ぎない。 Amazonの作ったAIがポンコツだっただけ。

記事への反応(ブックマークコメント)

アーカイブ ヘルプ
ログイン ユーザー登録
ようこそ ゲスト さん