携帯電話向けのクローラーは、それ専用のユーザーエージェント情報を送ってくるので、判断ができます。例えば、GoogleとYahoo!が送ってくるクローラーのユーザーエージェントは以下のようなものです。
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
・Yahoo!
DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html) J-PHONE/2.0/J-SH03 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html) KDDI-CA23 UP.Browser/6.2.0.5 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
ちなみに、パソコン用サイト向けのクローラーは以下のようなものですから、全く違うものであることがわかります。
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
なぜ、異なるユーザーエージェントを送ってくるのかといえば、携帯向けのサイトは、携帯電話のユーザーエージェントではない場合、パソコン向けのページにリダイレクトされてしまうものも少なくなく、きちんとデータ収集ができないからです。そのため、それぞれ実際に存在する携帯電話を模したユーザーエージェント情報を送信し、きちんと携帯電話向けのコンテンツを取得できるようにしています。また、1つの検索サービスが、複数のユーザーエージェントを送ってくるのは、携帯キャリア各社によって、アクセスしたときに表示されるコンテンツが違う可能性があるからです。
ただし、ログ解析ツールなどを利用している場合、携帯向けクローラーにきちんと対応していないケースもあるので、注意が必要です。その場合、パソコン向けのクローラーと一緒に集計されてしまったり、もしくは携帯電話からのアクセスと一緒に集計されてしまったりします。「今日はずいぶんとアクセスがあったなあ」と思っていたら、たまたまクローラーが大量にアクセスしてきただけだったという可能性も出てきてしまいます。
ユニークユーザーをカウントするには
ここまで述べてきたように、携帯電話の場合は、クッキーを利用できない場合が多く、しかもIPアドレスとユーザーエージェントでは、特定の利用者（特定の電話）を識別するのは難しいのです。しかも、リンク元も送信されていないので、そこから各ログを結びつけることもできません。それでは、ユニークユーザー数、つまり同じ人による複数回のアクセスを1回と数えて、いったい何人の人がサイトを訪れたのか、という回数を取得することはできないのでしょうか。
結論から言うと、それは不可能ではありません。しかし、そのためには、サイトにそのための仕組を施す必要があります。パソコンではブラウザごとに内容の異なるクッキーを発行して、そのクッキー情報をログに書き出しておくことで、ユニークユーザー数を計測する方法も一般的ですが、携帯ではクッキーを使わずに、クエリ文字列に情報を埋め込むことで、それと近いことが可能になります。例えば以下の「key」というデータのように、特定のパラメータとして、各携帯機ごとに固有のデータをURLに含め、その固有のデータがついたアクセスがあったときには、表示するページないにあるリンクにもすべて同じパラメータをくっつけて表示してあげるというような方法です。
http://mobile.example.com/product/?key=1312424351
すると、アクセスしてきた人がサイト内でページを遷移していった場合に、URLにはすべて同じパラメータが付くので、アクセスログから、どのアクセスとどのアクセスが同じ人によるアクセスなのか、最初にアクセスしたページがどこで、最後がどこか、何ページにアクセスしたのか、といった解析が可能になります。
