解析ツール間の数値の違いはなぜ生じるのか？
セミナーで講演させていただきますと、「ツールによって集計される数字が違いますよね」という質問をよくされます。「複数のツールで数字が違うけれど、どちらが正しいのか？」という質問もあります。
数字が違う理由はいくつかあるのですが、まずは、そもそもの集めるデータが違う場合があります。それから集計方法の違い。言葉・用語の定義が違うといったこともあります。
確かに桁が違っていたら、どちらかのツールに不具合があるのでしょうが、10％とか20％くらいの乖離はあって当然と思っておいてください。そのツール自身で計測した数値はどちらも正しいはずなので、「どちらが正しいのか」と比較することには意味がないんです。
それなら、集計された数字の違いをどう扱えばいいのか、というのが次の問題になってきます。
まず、そもそもの集めているデータが違うケースでは、サーバへのリクエストのログをカウントしているのか、クライアント側の挙動をJavaScriptで計測しているのかで見ているデータが違います。
サーバ側にはロボットのリクエストも当然含まれますし、クライアント側はパソコンのキャッシュで行ったり戻ったりする場合もすべてPVとしてカウントされます。このように集計している数字自体が違っているケースがまず考えられます。
それから集計方法の違いによって差が出ることもあります。アクセス解析イニシアチブで4つのツールを入れて計測してみた事例をご紹介しましょう。
Webビーコン型を3つ、サーバログ型1つでデータを集計してみました。本当はもっと数を増やして試したかったんですが、準備が間に合わず4つで計測しました。こちらのグラフは、11月1か月間のPV数なんですけれども、Webビーコン型はほとんど同じですよね。
ログ型が若干上に来ていて、1.5倍～2倍くらいの数になっています。でも、パターンは大体同じですね。PVやUUといった基本指標については、どのツールを入れてもほとんど変わらないことを分かっていただけたかと思いますが、詳細なメニューで比べてみましょう。こちらは同じビーコン型3つのツールで集計された「参照元」の数値を比べたものです。
ツールA、B、Cとありますが、Cだけ異常な数字となっています。
その理由の詳細は2009/11/26の『アクセス解析ツールのいけてない集計仕様ベスト3、第1位』という私のブログのエントリを読んでいただければと思います。重要なところなんですが意外と知られていないようですので、ぜひご覧になってみてください。
解析ツールを乗り換える際は平行期間を設けて
ということで、Webビーコン型からログ型に、ログ型からWebビーコン型に乗り越えようとする場合には、数字が変わることになります。どう対応すればいいのでしょうか。
数字は違っていても、ご覧いただいたようにトレンドは大体同じです。どれくらいのギャップがあるのか、パターンを見据えながら補正していくことが大事になります。倍くらいの差があるのか、どのくらいの数字をプラスしたら数が合うのか、あるいは1.5倍にしたら合うのか、そのあたりはツールによって変わってきます。ですから、ツールを入れ替える場合には、パターンを見つけるために平行期間を設けることが必要になります。
当然、仕様の違いによって、補正のしようがないこともあります。仕方がないので、その場合はあきらめなければいけないことになります。このセッションでは仕様面の話を中心にしてきました。結論としては、ツールを選定する際には成功指標を計測できるかどうかが重要なウェイトを占めますので、くれぐれもその点には注意して選ぶようにしてください。
