九州は徹底的にテストする
塚本氏が「カンファレンスなどでは成功事例しか出てこないが、レオさんはこれまでにどんな失敗があったのか」と尋ねると、「僕は失敗したことはないですね」とあっさり答える加藤氏に、会場からは笑い声が。
「おそらく東京とやり方が違う。九州の場合、ひとつのキャンペーンで1億の予算があったとしたら、テスト予算として10％、1000万円抜いてしまう。そして、クリエイティブを多ければ30個くらいテストする。折り込みからウェブからインフォマーシャルまで全部テストする。そうすると、レスポンスの違いが見えてくる。キャッチコピーひとつで3～4倍くらい平気で変わる。テストして一番効果の高いクリエイティブを使って、残りの9割の予算を使って広告を投下する。だから成功するしかない。東京は、決めうちでクリエイティブをつくって一気に投下するので、文化が違う」（加藤氏）
加藤氏のこの徹底的にテストを行う方式は、伝説の広告人デイヴィッド・オグルヴィ氏の「広告用語で最も重要なのは"テスト”だ」という言葉を彷彿とさせる。
ニッセンのスマホサイト開発に衝撃を受けた
Package Solution事業部 事業部長小畑 陽一氏
エムティーアイの小畑氏は、ニッセンのスマートフォンサイトのデザインをカスタマイズする案件を受注したとき、衝撃を受けたというニッセン独自の開発手法を紹介した。使いやすいスマートフォンサイトを急いでつくってほしいという要望だったため、メイン導線となる20〜30ページを、ラフ案提出、コーディング、テストを経て2か月後に納品するというスケジュールで提案したところ、「来週1ページをあげてほしい。そして、できた順に1ページずつ納品してほしい。ラフ案30ページ書き終わるまで待てない」と言われたという。
「我々からすると、アクセス数の多いメイン導線なので、一気に変えてリニューアルしたことを示したかった。でも、それはユーザーが求めてるものじゃないと。トップページが見やすくなったら、それだけで2ページ目に行きやすくなる。2ページ目から3ページ目に行きやすくなる。トップページと次のページのデザインの色合いが違うなんて、どうでもいいんだと」（小畑氏）
そして「同じ期間をかけたとき、いわゆるウオーターフォール型の全部30ページまとめて納品するやり方よりも、1ページ毎週アップしていくほうが機会損失がほぼないことがわかった。今は我々も、こういうやり方でやらせてほしいとクライアントにお願いしている」という。スピードが求められるスマートフォンの世界。大手通販会社が実践している開発スタイルの大胆さに、その競争の厳しさが垣間見えた。
A/Bテストはテクノロジーで進化する
カスタマソリューション部
デジタルコミュニケーションチーム チーフマネージャー
塚本守章氏
モデレータを務めるALBERTの塚本氏は、現在、ドクターシーラボのクリエティブのA/Bテストを支援している。
西井氏は「クリエイティブはやはり大変なところで、なかなか当たりのクリエイティブを見つけられなかったりする。テストするだけの表示回数を出せなかったり、2パターンをテストしてみたが、どっちも良くないときもある。でも技術が発達することで、いろいろできるんじゃないかと思う」と語った。
塚本氏は「我々が提供しているのは、ボタンやコピーなどのパーツを組み合わせてテストするシステム。それをディスプレイ広告でまわしたり、西井さんのところではサイト内に入れていただいて、コンバージョンベースでどのボタンやメインビジュアルの効果が高いかを見ていく。」
「難しいのは、ボタンやコピーなどの5つの要素を4種類ずつ入れてすべてテストすると全部で1024パターン。クリエイティブごとにデータをとるには50クリック、50コンバージョンくらい必要になる。ALBERTのツールでは、1024パターンあるとすると16パターンだけ配信して、各パーツの効果がいいところを算出し、短期間に分析レポートを出すことができる」（塚本氏）
さらに、モデル4人を使って広告を配信したある事例を紹介。そのときには、モデルによって結果に優劣が出てしまい、評価が悪かったモデルは契約を切られてしまったという。塚本氏は「シビアですよね」と語った。
