  |
https://tjo.hatenablog.com/entry/2023/11/11/195106
「R」や「Python」で誰でも簡単に統計解析ができる（と喧伝される）ようになってから、このような思考をする分析者が増えているように感じます。
統計手法の原理を理解することは、その手法の単純な適応における限界を見極めることのみならず、問題解決のために手法を改善・拡張することを可能にするでしょう。
それとは反対に、便利な統計ツールの使い方を身に付けることは、「問題解決」へのアプローチを硬直化させてしまいます。
この問題は事前に実験計画をサンプル全体に確実に遵守させられる範囲にサンプルを絞ってA/Bテストを行うとか、もしくは分析する前に実際のキャンペーン実施状況の情報を集めてnon-compliantなサンプルを除外するといった対策が必要なんですが、それをせずに漫然とA/Bテストをやって「テスト群の方が有意に低いとは？？？」となってしまっている現場は珍しくも何ともありません。
さまざまな問題点が考えられますが、まず「テスト群の方が有意に低い」という結果が出ること自体は統計分析の評価として、なんらおかしなことではありません。おそらくは「低く出るはずがない」ような条件でA/Bテストを行っているのでしょうが、それ自体が現実の施策分析においては大きなバイアスになっているのです。そして、実際の現場では「実験計画をサンプル全体に確実に遵守させる」ということがもっとも大きなバイアスになるのです。
多くの場合において、ある「施策（A）」の有効性を検討する場合、それは他の「施策（B）」との比較、もしくは「通常の状態」との比較をすることになります。それはどのようにすれば可能でしょうか？
例えば、「あたなの店舗では施策（A）を実施しないでください」と言われた場合、それは何を意味するのでしょうか？ それは指示を受け取った人によって異なるかもしれませんし、綿密な実験計画の周知によってある特定の状態を意味していることが伝わるかもしれません。しかし、重要なのはそれが何を意味するかではなく、それがどのような影響を与えるか、ということです。コントロール群へどのような影響が出るのかを予測することは非常に難しく、現実的には不可能と言っていいでしょう。
多くの場合、施策の影響を厳密に計測しようとするならば、そのテストが行われていることをあらゆるサンプル（店舗や実施者）に知られずに済ます以外にはないでしょう。
このような事態を避けるためには「平常時からある程度広告・マーケティング施策を打つタイミングを満遍なくバラけさせておく」必要がある
本来であればデータ分析を担う立場の人々の方が平時から積極的に（役員会とは限らず）経営に関わるゾーンの人々に働きかけていって、「データ分析を行って意味のあるデータセットが得られるように普段からビジネスを展開する」というのが多分理想像なのでしょう。
このような考え方は、データ分析が経営に（ほとんど）何らの影響を与えないような状況においてのみ有効です。
もし、あなたの会社が本当に危機に瀕しているとき、どうにかして有効な施策を見つけようとしているとき、「データ分析のために何の施策も行わないでください」と言われて従うことができるでしょうか。
あるいは、「本当に有効な施策を見つけるために、あなたの会社の成長を止めることが必要だ」と言われたら？
おそらく、そんなバカなことは受け入れられないと多くの人は考えるでしょう。
現在の日本で「データ・サイエンティスト」などと呼ばれる統計分析の使い手がもてはやされているのは、アメリカにおける流行が数年遅れで日本に上陸した結果だと言えるでしょう。しかし、アメリカと日本で決定的に異なる点があります。それは、アメリカの経済が現在アップストリームにあり、日本はそうではないという点です。
人口増加を背景とした安定した成長のなかでは基本的な統計分析（つまりは道具としてのお決まりの統計分析）でも、十分に役に立っています。
しかし、日本のような、マーケットの縮小と金融政策に根差した不安定な経済状況において、そのようなお決まりの統計分析がどこまで有効であるかは大いに疑問です。
現代的な統計分析の手法は、経済的な停滞に陥ったかつてのアメリカにおいて、その困難を打破しようとする知性によって大きく発展しました。現在の日本は、まさにそのような状況にあるように見えます。教科書的な分析をただ機械的に適用する判定者ではなく、あらたな価値を生み出すような「データ・サイエンティスト」がはたして日本から生まれるでしょうか。
13
