ユーザによるサーバ側統計とのつきあわせプロジェクト
アレクサのデータの信頼度を調べるために運営されているこのようなサイトもあります。
Alexaのランキングと、実際にアクセスしたユニークビジター数の相関を、さまざまなサイトの運営者からデータを集めることで求めようというプロジェクトです。

このプロジェクトにデータを提供しているのは、サイトにやってきた匿名のサイト管理者なので、入力されたランキングとサーバサイドのデータが正確かどうかという保証はありません。
それでも、たとえイタズラによる嘘の入力があったとしても、これだけ多くの参加者が無意味に違う数値をわざわざ入れるとは考えにくいです。ここは、ほとんどのデータが事実であるとして話を進めます。
グラフ中の線が、全体的な相関関係を代表したものとなります。なんとなく、ランクが上のほうが実際のアクセス数が多そう、という相関関係が見られて、グラフ中にも相関の線は引いてあります。
しかし、個々の点が線から大きく離れているケースも、かなりあることがわかります。Alexaでのランクは高いのに、実際のアクセスは非常に少ないサイトもあれば、Alexaでは低い評価でも、同じランクの他のサイトに比べて10倍以上のアクセスがあったり、というのもそこそこあるようです。
このような実状を知っていれば、Alexaで出てくるランキングやトラフィック量を成果測定や広告効果の推定に使うのは危うい、というのは自然と導き出されるのではないでしょうか。
国ごとのデータ提供者数の変動が大きい
Matt Cutts氏の例のように、アレクサのツールバーを入れるか入れないかによって、特定のカテゴリのドメインが実力以上に高く集計されてしまうことが起こりえます。この現象が非常に大きな形で出てくる別の事例が、言語によるツールバー普及数の変動です。
アレクサの統計データがウェブ全体のトラフィックをより、正しく切り取るためには、アレクサ・ツールバーを使うユーザが偏りを持たないことが条件となります。
しかし、アレクサやアレクサ・ツールバーの存在はどのようにして知られ、普及するのでしょうか? それは、この連載を含むウェブサイト運営者向けの情報サイトでの解説記事や、ブログなどでの紹介によるものでしょう。
でも、全世界のユーザに対して一斉に同じ記事やブログが影響を及ぼすことはありません。その最も大きな要因は、言語の壁です。この連載の記事が公開されたときに、アレクサのことを知ってツールバーをインストールするのは、日本語の読めるユーザだけですから、そこでは日本語のサイトをよく見る、あるいはほとんど日本語のサイトしか巡回することがないユーザです。
このように、ある言語でアレクサが紹介され、その言語内で突然、アレクサ・ツールバーの普及率が高まる、という現象は実際に観測されています。実例を見てみましょう。