「AIに言ってほしい要素」が本当に回答に含まれているかを可視化
また、Lv.2の「その質問にあてはまる情報を完備している」については、Speeeでは「正解言及率」という指標を開発しています。これは、特定の回答文においてAIが言っている要素のうち、事前に特定した要素がどの程度満たされているかを算出するものです。
たとえば、SpeeeのAEOサービスに関する回答文言では、以下の要素を必ずAIに言及させることを目指したいと事前に定義します。これは、いわば通常の営業時のセールストークであり、競合との比較時に特に強みとして押し出したい内容です。
- AIの専門的な研究体制(AIリサーチ&イノベーションセンター)
- SEOにおけるデータ分析・戦略立案・実行支援が強み
- のべ3,000社以上の取り組み実績
- SEO業界で最大規模のコンサル顧客数を誇る
これに対して以下の文言がAIから出た場合には、3/4で満たされており、75%という正解言及率になるわけです。
これをベンチマークしているすべてのペルソナ・プロンプト・プロダクト・モデルに対して計測し、全体傾向と個別傾向を可視化することで、AIの自社サービスへの言及品質について俯瞰的に捉えることができます。先ほどの例と同様、自社製品への言及を対話型AIごとに整理してみましょう。
| ペルソナ | 子育て世帯・アレルギー対策 |
|---|---|
| プロンプト | 3歳の子供がハウスダストアレルギーで咳をするため、寝室の空気を綺麗にしたいです。子供が触っても安全で、就寝時も音が気にならないおすすめの空気清浄機を5つ教えてください。 |
| 言いたいこと | |||||
| プロダクト | 集計 | アレルゲン除去力 | 小さな子供への安全性 | 優れた静音性 | 省スペース |
| ChatGPT | 75% | 〇 | 〇 | 〇 | × |
| Gemini | 50% | 〇 | 〇 | × | × |
| AIモード | 75% | 〇 | 〇 | 〇 | × |
上の表では、Geminiが特に言及品質が悪い状態になっていることがわかります。自社ユーザーがGeminiを多く使っているようであれば、優先的に対応するのが良いでしょう。また、省スペースについてはどのプロダクトでも取り上げられておらず、そもそもAIが見つけやすい場所に情報を上げられていない・AIが読める形式になっていないなどのリスクの可能性があります。
重要な情報なので、しっかりAIが引用できる形式でコンテンツ化されているか確認することが大切です。
意外と違う!AIプロダクトにおけるユーザー特性や回答
また、AEOモニタリングで重要なのがどの範囲でデータを取得するのかです。対話型AIプロダクトには汎用的なものだけでもChatGPT、Geminiなど種類が幅広く存在し、同じプロンプトでもプロダクトによって回答傾向は変わってきます。
基本的には自社・競合のAI経由流入データから業界的によく使われるものについて重点を置いて、モニタリングできると良いと思います。
SpeeeではB2Bという事業特性上、特に業務シーンでよく使われると思われ、かつ利用者数が多いものにフォーカスして、ChatGPT・Gemini・AIモードの推奨データは週次モニタリング対象としてKPI改善時の対象指標にもしています。
多くの顧客にも同様の範囲での対策をおすすめするケースが多いですが、たとえば日経平均株価構成企業225社の85%がCopilotを使用しているというデータもあるため、エンプラ向けサービスを提供している企業ではCopilotもデータ取得するなどの判断もありでしょう。
この「どのプロダクトを使っているのか」という問題については、AI型購買行動時のカスタマージャーニーを把握する際に合わせて確認できるとより望ましいといえます。
今回は、AEO対策において重要な「AI購買流入・CV比率」「推奨率」「推奨順位」「正解言及率」といった指標について詳しくお話をしました。次回は、実際にこれらの指標をどう改善していくのか、その手法についてお伝えします。
