  |
レコメンダシステムの理解が進んだ段階では、その仕組みを汎用化して、入力パラメータで挙動を変えられるようにできていると仮定する
A/Bテストを行うために必要なのは、まず入力パラメータとユーザーアクションの組を保存することである
目標の設定から始める必要があるが、ここではクリック率を追うと仮定する
これだけでは比較が出来ないため、検証対象のパラメータAとBを同頻度でユーザーに適用する
この適用方法は色々ある。ランダムに切り替える方法もあるし、ユーザーを2つのグループに分ける方法もある。この適用時に、サンプルサイズを決めておく
それで、ある程度の期間データを収集するが、期間をちゃんと決めておく。大体1〜2週間ぐらいになることがおおい
期間が過ぎたら、まずAとBのアクションの統計的推移をEDAとしてプロットするとはっきりと傾向を見て取れる
また数値的な比較として統計的検定を実施するのも方法の一つである
結果的に、どういうパラメータ設定であればよりクリック率が増えるのかを明確にする
テスト結果をどのようにフィードバックし、次に進むのかを計画する。得られたデータを基に仮説を再構築し、継続的に改善を行うサイクルを確立する
9
