多変量テストのジレンマ
このように複雑で細かい調整ができるテスト手法ではあるが、その複雑さゆえに弱点もある。
それは「検証期間の長期化」だ。
「多変量」といわれれば、それこそ考え得る限りの組み合わせをテストしたくなる。仮に、5個の表示要素それぞれに2パターンずつ登録してテストを行うと下記のとおり。
2*2*2*2*2＝32
32パターンの組み合わせをユーザーにぶつけることになる。前回のA／Bテストは2パターンしかなかったわけだから、単純なかけ算でテスト期間は16倍だ。
A／Bテストの場合も最低1週間は時間がかかる。すなわち、おおよそ4か月もテストし続けなければ正しい結果を得られない計算だ。スピーディな分析と改善が求められるWebプロジェクトにおいて多変量テストは大きなジレンマを抱えている。
弱点を克服して多変量テストを使いこなせ
この弱点の回避方法は2つある。
- 登録するパターンの精査
- 負けパターンの早期無効化
1．は、無駄な組み合わせを生んでいないかを確認することだ。組み合わせてしまうと意味が伝わらなくなってしまうものはないか？意味がわからない組み合わせは、わざわざテストするまでもないだろう。そのような場合は、A／Bテストを利用した方が結果が早く確認できる。「このパーツ組み合わせる必要があるのか？」もう一度この視点でテスト内容を見直してみよう。
2．は、テストの経過を観察するうちに、パフォーマンスが悪い状態を長く続けているページを早めにテスト対象から落とす、というものだ。これはWebサイトオプティマイザーにも機能として用意されている。本稿でも後半に使い方を説明する。
それでは、いよいよ多変量テストを実施してみよう。
