2014-01-28

フェルミ推定面接についてそろそろ一言いっておく 1/29 23:29追記

黙っていようと思っていたが、フェルミ推定面接がまたもや話題になっているので、言及してみようと思う。

私の知る限り、この面接手法最初に広く世の中に紹介したのはウィリアムパウンドストーン書籍

ビル・ゲイツ面接試験』(2003)においてであり、マイクロソフト社の所在地になぞらえて

レドモンド面接と呼ばれていた。富士山をどうやって動かしますか、というやつだ。

当時既に、この手法に対して神経学者や教育学から懐疑の声があがっていたことにパウンドストーン

触れており、著者自身、手法のものにたいして中立の立場に立って紹介していたと記憶している。

この試験はその目新しさから多くの企業マイクロソフト躍進の秘密解釈され模倣されたのだが、

たまたまShallice & Evans の論文"The Involvement of the Frontal Lobes in Cognitive Estimation"(1978)を

読んでいた私が(ちなみに、論文存在アントニオ・ダマシオの書籍内での引用で知った)この面接を知って最初に考えたのは、

「なぜマイクロソフト面接者の前頭葉機能障害なんかを調べているのだろう」

というものだった。

上記論文で行われている実験は、被験者が知らないであろう数値を推測させる単純なものだ。

例えば、「男性の脊椎の長さは平均どれくらいですか」「オランダラクダは何頭いますか」等。

そして、前頭葉機能障害を持つ被験者は、異常な推測値を挙げる傾向にあることが示された。

前頭葉機能障害と聞いて、ピンとくる人もいるかもしれない。

アスペルガー症候群高機能自閉症、PDD)は、まさに先天的前頭葉機能障害により発症するものと考えられており、

また、優れたプログラマにはこの症候群者が多くみられることから俗にシリコンバレー症候群とも呼ばれている。

そこで、問題だ。どうやってアスペルガー症候群プログラマを見つけ出せばよいのだろうか?

面接者に精神科受診と診断書提出を求めるわけにはいかないだろうし、面接中に2時間近くかかる検査

行うわけにもいくまい(ちなみに、私自精神科アスペルガー検査を受けたことがあり、「PDDが強く

疑われる」という検査結果が出た。さら鬱病で、目下生活保護受給中の身である)。

しかし、逆に考えてみたらどうだろう。そもそもマイクロソフト面接にまで進める資質を持っているほど

優れたプログラマならば、すでにアスペルガー症候群である可能性が高い、と。

それならば、行う検査は最小限のものでよい。実際、フェルミ推定だけで面接合格者を決めるわけではないのだ。

さまざまな(より専門的な)質問のなかにさりげなく、「ニューヨークピアノ調律師は何人いますか」という

ような質問を挟む。上記論文内で紹介されている質問の多変数版だ。注意すべきは、フェルミ推定においては

正解が存在しないことだ。推測で変数を適当に選び計算するだけなので、実際の調律師の数に近いほど優秀な

推測だということにはならない。それは単なるまぐれ当たりだ。ちなみに、大勢人間フェルミ推定をさせて、

その平均値を取ると実際の数に近くなる。これを集合知という。フェルミ推定積極的な使い方を探すなら、

このような方向性になるだろう。選んだ変数の妥当性をみて思考力を測るのだという意見もあるが、残念ながら

その主張を支える実験結果は出ていない。それゆえ神経学者や教育学から懐疑の声が挙るのである

だが、実際には全く逆の発想でフェルミ推定クイズが課されていたとしたら、どうだろう。

まり、異常値検出のための質問だ。

おそらくこの面接を考えだした人はプログラマなので、プログラミング用語で例えてみよう。

フェルミ推定試験という関数は、戻り値としてブール値を要求し、Falseの場合のみテストを通過する。

それだけだ。筋道たった思考、適切な変数の選択、素早い計算、そんなものをこのテスト面接官は見ていない。

面接者はどんな質問にも答えてやろうと意気盛んな、高学歴で専門知識豊富な人物である

そんな人物が、より複雑なホワイトボード上でのコーディング試験で困難なスケーリングの問題を解決する

アルゴリズムを制限時間内に書き上げられるような人物が、よりによって簡単ないくつかの変数の推測問題において

すました顔で異常値を出したら。

これは、医学的な診断を下すには不十分であっても、マイクロソフト社の面接官にとっては十分な

アスペルガー症候群サイン」なのではないか。

こう考えると、なぜマイクロソフト社がフェルミ推定面接を行う理由に関して口を濁すのかも理解できる。

障碍者逆差別プログラマという職業への偏見助長、さまざまな倫理的問題が噴出しかねない地雷原が

広がっているのだ。勝手に世間想像させておくに越したことはない。そうだろ?

いや、それが違うのだ。

レドモンド面接就職面接での流行となり、多数の模倣者を生み出した。Google社はその筆頭だ。

昨年、Google社はこの手のクイズ面接(原文では"brainteasers")には効果がないことがビッグデータでの

検証により判明したので今後は行わないと発表して話題になった。

うん、実に面白いビッグデータ検証したって? 統計的検証を行うためにはまず仮説が必要なわけだが、

どんな仮説をもとに「Google社員面接応答とその後の実績」という「ビッグ」データ分析したのだろう。

つのケースを考えてみよう。その一、フェルミ推定面接で人物の思考力の優秀さが測れるという仮説が

ビッグデータにより棄却された。まあ、妥当な結論だ。そもそもフェルミ推定をさせてもそんなものは測れない

のだから、なんの相関もないという結論にたどり着くに決まっている。

その二、Google社はマイクロソフト社が同種のテストをする真意について、上記のような理由によると推測した。

この場合、仮説も検証もない。いかに地雷から撤退するかが問題だ。Evilだと思われるよりバカだと思われる方が

マシだろうし、適当にビッグデータとか言っておけば他の模倣者連中も納得するだろう。

どちらにしても、フェルミ推定面接の正しい運用は出来ていなかったわけで、無駄だったことには変わりがない。

しかし、この面接手法が大流行してしまったことは問題だ。

日本では、たしか2007年から地頭力」という言葉とともに流行ったと記憶しているが、異常値検出に

使わないのであれば、フェルミ推定面接は多少お上品な圧迫面接としてしか機能しない。

それだけならば問題は小さいが、この手法の「仕様」を理解せずに行われる面接ではアスペルガー症候群者が

常識の無い人」として切り捨てられる可能性が高い。知らず知らずのうちに障碍者排除に加担することに

なるのだ。

そろそろまとめに入る。

フェルミ推定面接は、異常値検出のための手法として用い、アスペルガー症候群の可能性が高い候補者を選びだす

という目的で使わない限り、その効果理論的根拠はない。

そして、この目的で使う場合アスペルガー症候群であることが有利であると報告されている類の職種でなければ

意味がなく、また、この手法を使う以前にある程度の候補者スクリーニングができていなければ、圧迫面接

亜種としてしか機能しない。さらに、たとえアスペルガー症候群者が高いパフォーマンスを示す傾向のある職種

だとしても、アスペルガー症候群者の方がそうでない候補者より優れているとは限らないし、単に常識に欠ける人を

誤検知してしまう可能性も残る。

また、この手法の濫用が無自覚アスペルガー症候群者を就職市場から排除する圧力として働きかねないという

問題がある(いや、別に私が現在無職なのは世の中が悪いと言っているわけではない。そもそもフェルミ推定面接

を課されたことがないので)。

というわけで、現在就活中の皆さんにアドバイスしよう。もしも面接中にフェルミ推定クイズを出されたら、

上記の内容を簡潔に説明したうえで、逆に質問してみよう。

御社では高機能自閉症を職務上重要な資質だとお考えですか」

障碍者枠での雇用を広げた方が御社にとってメリットが大きいのでは?」

などなど。

なお、このような質問をして不採用通知を受け取っても、当方では責任を取りかねますので、あしからず


P.S. 推敲大事。いや、残しておくけどさ<戻り値


追記

一日で400ブクマ超えてて驚いた。

なんかいろいろと申し訳ないので、少し反応してみる。

はてな記法がちゃんと反映されてるか心配

id:fb001870

>>市井にも知識人はいると感じさせられる例 大学教授とかかもしれんけど<<

いえいえ、ただの30過ぎの高卒ニートです。一応短大には行ったんですけど、中退しました。

失業してからそろそろ二年、早くなんとかしたいところです。

id:houyhnhm

>>陰謀論楽しいです。<<

すてきなお名前ですね。楽しんでいただけて嬉しいです。

他の人が思いつかなさそうな突飛なアイデアが湧いてくる瞬間が気持ちよく、

今回はそれを多くの人と共有してみたくてエントリを書き上げました。

はてなブックマークはほぼ毎日見ていますが、ログインするのは数年ぶり、

増田利用は初めてです。去年のGoogle社の発表の頃は、鬱が酷くて文章を

書ける精神状態ではありませんでしたが、今回また話題にのぼったので書いてみました。

id:sippo_des

>>おもしろーい。はやく病が消えますよう。<<

ありがとうございます鬱病で怖いのは、自殺願望自体は持っていないにも関わらず、

論理的に考えると自分死ぬべきという思考の袋小路に突き当たってしまい、自分の理性を

信頼できなくなることです。

去年から飲み始めた薬のおかげで、いまは快方に向かっているようです。

id:Dy66

>>面白かった。採用担当に対する攻撃方法まで書いてあって素晴らしい。<<


いやいや、採用担当も大変な業務なので、どうか労ってあげてください。

人間、出会ってしまった相手とは結婚から殺人まで、何でも起こりますから、物腰は柔らかに。

仮に、アスペルガー症候群プログラマ能力相関性が囁かれた頃にマイクロソフト社が

実験的に本エントリのような意図テストを行っていたとしても、有名になりすぎてしまったので

すぐにアイスブレイカーとしてしか機能しなくなったでしょうね。ですから面接でも

それくらいのつもりで望めばよいのではないでしょうか。

id:ooblog

>>実際にはフェルミ推定そっちのけで・・・<<

日本ではフェルミ推定問題ばかりにスポットライトが当たっていますが、

アメリカでのいわゆる"brainteasers"面接では厳密な思考が要求される

論理パズルの類が出題されることのほうが一般的なようです。

論理パズル専門のクラスが開講されている大学もあるようです。

オーム社から出ている「プログラマのための論理パズル」で実例が見られます

私はプログラマではありませんが、趣味読書ですので本なら何でも読みます

SICPCTMCPから始まって、今は横内寛文さんの「プログラム意味論」を読んでいます

ところで、なぜ「趣味読書」というと、文学ばかり想起されてしまうのでしょうね。

私はナボコフジョイス海外文学も好みますが、セシルやハリソンも同じくらい

興味深く読みますし、OEDや円周率百万桁表(暗黒通信団通読にも挑戦したいです。

id:kanan5100

>>元論文見たけど・・・<<

論文の内容にちゃんと言及する人が現れるまでに400ブクマもかかるとは、

はてな村英語力ならびにメディアリテラシー心配です(村人ほとんど来てないけど)。

ちなみに、さらに言うと元論文では被験者後天的な外傷による前頭葉機能不全の

ケースですので、これと先天的であるアスペルガー症候群を結びつけるのは、

なおさら暴論です(無関係だという立証は、別途必要でしょうけれど)。逆に言えば、

フェルミ推定面接有効性に理論的根拠を与えるのはそれだけ困難だということで、

オカルトに付き合わされる就活中の皆さんに同情します。

現場フェルミ推定を使う」派の人には、フェルミ推定専門家としての推定の区別

きちんとついているのかどうか、胸に手を当ててよく考えてみてほしいものです。

ついでに言うと、ダマシオの書籍とは"Descartes' Error"です。なかなか面白いですよ。

西尾泰和さん

id:nishiohirokazu

http://d.hatena.ne.jp/nishiohirokazu/20140129/1390932575:titile=フェルミ推定アスペルガー症候群の関連を主張する人がいるがかなり酷い]

つい先日、ご著書を拝読したところです。

もし第二版を出す機会がありましたら、メモリ管理手法の変遷についても一章を割いていただけると、

ハードウェア方面への橋渡しにもなり、新人プログラマにとってより興味深くなるのではと思いました。

>>まず、ここが嘘<<

はい、おっしゃる通り、確かに現在でも因子は確定されていません。

ものが"The most complex structure in the universe"なだけに、

どの部位がどのように発症のメカニズム寄与しているのか、解明されるのは

しばらく先のことでしょう。

エントリの文章は、10年前にレドモンド面接を知ったときに二分ほどで

こしらえた仮説とGoogleの去年の発表に対する感想をそのまま書いただけですので、

前頭葉(あるいは前頭前野)の機能不全がすべて」と主張する意図はありませんでした。

「まさに」という部分を「一説によると」くらいにトーンダウンさせるべきでしたね。

「異常な推測値」に関して言えば、被験者が知らないと予想される数値ということなので、

論文内の「後天的機能障害を負ったグループ」はともかく、アスペルガー症候群場合

専門分野での推測能力にまで欠陥が及んでいるとは、自分の経験から照らしても考えがたいところです。

そもそも、推測能力一般について欠陥を抱えているという状態はアスペルガー症候群どころではない

重篤状態かと思います。そのように読み取られてしまう余地を作った自分文章力不足を改善して

いきたいところですが、つい断定的な言葉遣いを使ってしまう過ちは誰にも少なからずあるものかと思います

例えば、西尾さんのブログの追記の段落で、突然人称代名詞として「彼」と使われていますが、

エントリには私の性別を明示するような言辞は含まれていません。アスペルガー症候群

男女比において男性の方が症例が多い傾向が報告されていますが、それだけで私が男性だと

断定してしまうのは、アスペルガー症候群に関わる脳の部位について、前頭葉コインを全部

賭けるようなものではないでしょうか。人間には他の性別もありますよ。例えば、ええと、ほら、女性とか。

もっとも、Forensic Linguisticsの専門家ならば、文章から人種、性別、年齢、学歴

体格、病歴、居住エリア等を正しく推測できるのでしょうが西尾さんは違いますよね?


その他・・・

セルクマしたら一発でMidasさん辺りにアカウントばれしそうだったので、あえてしませんでした。

今後もはてなログアウト状態のROM専で楽しんでいこうと思います

デジタルアナログわず住所氏名年齢生年月日IDパスワード以外の文字列アウトプットするのは

何年かぶりですが、これも鬱が快方に向かっているサインと思って、また何か書ければいいなとは思います

トラックバック - http://anond.hatelabo.jp/20140128183151

記事への反応(ブックマークコメント)