2009-10-16

読売WEB記事

http://www.yomiuri.co.jp/national/news/20091014-OYT1T01105.htm

これについたはてブ

http://b.hatena.ne.jp/entry/www.yomiuri.co.jp/national/news/20091014-OYT1T01105.htm

公開されている調査の内容を見ると確かに工夫の余地があると思われ、バイアスがかかり得る構成になっているように見えますが、かといってその他の部分に的外れな批判をしていい理由になるわけではありません。

まず非常に多い「面接方式」への批判。

そもそも調査における「面接法」は、社会調査のテキストを読めばほぼ必ず載っている方法です。メリットデメリットをちゃんと考えずに「面接」の形式をとっているだけでそのやり方を批判するのは適切ではありません。また、詳しい調査の場面について情報がないから、勝手に状況を決め付けて判断してはなりません。

面接法(面接調査)の特徴とメリットデメリットを以下に挙げます。

参考文献は、岩永ら著『社会調査の基礎』

カギカッコ内は82ページと83ページからの引用

まず面接調査とは

「調査員が直接対象者を訪問し,質問をしながら回答を書き取る他形式」※追記訂正 「他形式」→「他計式」

メリット

  • 本人確認した上で調査ができる
  • 質問の意味を誤解なく伝達できる(掲示用パネルを用いる)
  • 「回答の明らかな虚偽性がチェックできる」

などがあり、「調査環境や回答の精度を確保できる」。

  • 直接訪問のため他のものより動機付けが強く、比較的高い回収率が期待できる

デメリット

  • 回答拒否や不在の場合に追求訪問をしなくてはならない

追求訪問がなされない場合は

  • 回収率が低くなる
  • 「一定の性格的あるいは行動上の傾向を持った一部の集団だけがサンプルから抜け落ちてしまうことになり,偏りが生じる危険がある」

つまり、「個票の高い信頼性と回収率を得るためのコストが非常に大きくなる」。

そして

などにより回答に偏りが出る危険性がある。また

  • 「中には調査員自らが不正記入し個票を作るいわゆる”メイキング”をするものも出てくる。」

危険性もある。

はてブで多く指摘されていたのは、このデメリットの方ですが、今の所公開されている情報ではそれがどのくらいあって偏りを生む可能性があるのかは分かりません。こうなっていたであろうという推測は、ちゃんと情報を集めて根拠付けられる必要があります。でなければ、単なるステレオタイプによる憶測としかなりません。

以下、はてブコメントに対する指摘。

読売の調査の詳細は

http://www.yomiuri.co.jp/feature/fe6100/koumoku/20091015.htm

id:anigoka氏

ニコ動アンケート並みの信用性

そんなことはありません。母集団有権者であり、層化(層化の基準は不明)、二段抽出を行っており、無作為性と精度の確保が考えられています。

id:fromdusktildawn氏

調査対象者は何歳以上の人なのかな。調査方法の詳細を記したデータへのリンクがない時点で、信頼性に欠けると思うが。

サンプリングの方法などについては上のリンクを参照。元の記事が、見出しも含めて省略しすぎだとは自分も思います。サンプルサイズすら書かないのはいくらなんでもって。

id:tarchan氏

面接に協力したのって新聞購読者なんじゃないの?

違います。上のリンク参照。母集団は「有権者」です。新聞購読者を母集団として標本抽出しているのではありません。

id:shoot_c_na氏

こういう時に限って、母数・有効回答数などが出てこない件について

「母数」を parameter の意味で使ってますか?有効回収数、回収率については上のリンク参照。

id:metabodepon氏

面接方式でこのような設問だとこの結果になるかな?

あまりに回答割合が高い場合に調査状況そのものについて疑問をいだくのは合理的とは思いますが、情報がない以上、あくまで推測として留めておくのが無難ではありますね。

id:gouk氏

まさかとは思うけど、アンケート対象は新聞購読者とかじゃないよね?

上のリンク参照。母集団有権者、層化二段抽出を行っており、有効回収率61%とのことです。購読者の方が回答する傾向にあった、などは可能性として考えられます。つまり、新聞を必要なメディア認識している人が率先して回答した可能性。しかし詳細は不明(調査対象が新聞を購読しているかどうかの情報がないため)。

id:toyasyas氏

面接を受けた方についての情報や具体的な面接方法などの文脈が無いとなぁ。

自分もそう思います。その情報がないと、何とも判断しづらいところですね。他で「圧迫面接」と指摘がありますが、回答割合の高さから調査の状況を(推測することは可能でも)決め付けられないですし。

id:spoichi氏

すげえコワモテな勧誘員みたいなのに密室に連れ込まれて「新聞は必要だよな!?な!?な!?」とか迫られる「面接調査」だろ。

根拠は? 勘以外に何かありますか。

id:ahmok氏

社会調査法として有意なの?

「有意」とは?統計学の専門概念に「有意」はあるので、そういう使い方はしない方が無難かと。それとも検定の文脈の話ですか?

id:limit25氏

新聞社が調査を行っているという時点で信頼に値しない。

そんな論拠で調査が妥当か否かを言えるわけないでしょう。「新聞社新聞というメディアについて調査を行った」って情報だけで、他の調査の諸々の条件を検討せずに「信頼に値しない」と決定して良いのですか?それはものすごいステレオタイプに基づいたバイアスです。

id:dorondo氏

調査の分母が不明だし、91%はあきらかにおかしい。

上のリンク参照。分母は明らかです(公開はされてるということ)。もちろん、元の記事では不明で、それはどうなっとるんだと思います。

id:toilet_lunch氏

調査方法がきちんと公開されてない統計データは信用できる・できない以前の問題。それともどっかに公開されてるのかな。

上のリンク参照。

id:gomi53氏

パーセンテージの母集団

この文の意味が分かりません。母集団でしたら「有権者」です。標本抽出台帳として何が用いられたかは知りませんが。

id:ken409氏

ずいぶん私の実感と異なる結果だ。

まぁ、個人の「実感」と異なる社会的「実態」を確かめるのが社会調査の目的ですしね。もちろん、出したい結果を導くように質問内容を作るなどの可能性は考えてしかるべきですが(意図的かそうでないかは問わない)。

大切なのは、元の記事の駄目さ加減と調査そのものの適切さは一応別の話だという所。元の記事は、タイトルがあからさまだし、情報は少なすぎるしで、記事としてどうしようもないと思います。読む人を馬鹿にしているんじゃなかろうかって。でもそれは、行われた調査が調査論的に見てどのくらい妥当であるかとは、違うのです。あんな記事書くために調査してるようなもんだろ、みたいな見方もあるかも知れませんけどね。いつも同じような内容の質問だし。

それにしても、面接法自体はちゃんとした方法って知られてないのかなあ・・・。

そういや、idコール飛ばないのか・・・。

トラックバック - http://anond.hatelabo.jp/20091016123352
  • http://anond.hatelabo.jp/20091016123352

    まぬけってのはどこにでもいるんだなあ 場所を選ばずってところがまた

  • http://anond.hatelabo.jp/20091016123352

    まあ、あまりに「統計はウソを付くための道具」みたいな発想が蔓延していて、 嫌な思いをすることはたくさんあるよね。   意識調査(必要だと思うかどうか)っていうのは、 行動実...

    • http://anond.hatelabo.jp/20091016135856

      日時や方法も問題 >調査日:2009年9月5-6日 >対象者:全国有権者3000人(250地点、層化二段無作為抽出法) >方法:個別訪問面接聴取法、回収:1827人(60.9%) 土日のおそらくは日中に面...

      • http://anond.hatelabo.jp/20091016142320

        調査日時がもたらすバイアスというのは重要かもですね。 その対象となる名簿は新聞を取っている人達ではないかな? ちょっと好意的すぎるかもしれませんが、これは考えにくいと...

    • http://anond.hatelabo.jp/20091016135856

      デプスインタビュー デブスインタビューに見えた。

  • 「新聞は必要」91%…読売世論調査の回答者の実像

    新聞週間に向けて、読売新聞が行った世論調査「新聞は必要」91%…読売世論調査については、はてブ上で集中砲火を受けたところです。 これに対して、 増田が「新聞は必要」91%...