問い5:AIの答えを、根拠までたどれるか
最後は、「実際に答えさせてみること」です。ここまで整えても、AIが必要な情報を見つけ、適切に使えるかは別に確かめる必要があります。
見たいのは、回答の流暢さだけではありません。シャツの洗濯について聞いたとき、何を根拠に答えたのか。手入れ表示に書かれた事実と、乾きやすさについての推測を分けられたか。情報が足りないなら、確認が必要だと伝えられたか。答えの文章を読むときに、実際に参照した商品データや資料も並べてみる。AI自身が挙げた出典も、元の情報と照らして確認したいところです。
Anthropicが2026年1月に公開したAIエージェントの評価指針では、実際の失敗に基づく少数の課題から始めることや、成功条件を明確にすることが勧められています。同じ課題でも結果が変わるため、繰り返し確かめるという考え方も示されています[4]。ECに引き寄せれば、実際に来た相談を使って、小さな接客の試験をつくるイメージです。
洗濯できる商品と、できない商品。代替品がある場合と、確認できない場合。答えやすい質問だけを集めず、答えを急いではいけない相談も混ぜる。そこで問題が見つかったら、情報がなかったのか、探せなかったのか、読んだ上で判断を誤ったのかを分けて見ます。これで商品データを直すべき場面と、AIへの指示や情報の渡し方を直すべき場面を、ようやく区別できます。
もう1つ、データを整えた成果と、社外のAIに薦められることは分けて見ておきたいところです。Shopifyも、Catalogへの掲載が特定の回答での商品表示を保証するものではなく、最終的な順位や表現は各エージェントが決めると説明しています[1]。Googleの生成AI検索向けガイドも、専用の構造化データを追加する必要はないとしています[5]。自社の情報を整える目的は、お客様の問いに筋の通った答えを届けること。その先の露出や売上は、別に測っていく必要があります。
まずは10の商品と、20の質問から始めよう
では、自社はどの段階にあるのでしょうか。5つの問いを振り返り、「詳しい人に聞けばわかる(A)」「資料を探せばわかる(B)」「データとルールを使って、繰り返し判断できる(C)」のどこに近いか、書き出してみてください。
| 問い | 確認すること | 望ましい状態 | 自社の状態 |
|---|---|---|---|
| 1 | 言葉の定義 | 「定番」「ギフト用」といったフワッとした言葉の条件が社内で統一され、誰でも同じ意味で使えるようルール化されている。 |
A/B/C |
| 2 | 商品同士の関係 | 「なぜこの商品をセットでおすすめするのか(一緒に使う・代用品など)」という理由や、「この条件の時はおすすめしない」というNG条件までデータ化されている。 | A/B/C |
| 3 | 情報の鮮度 | 在庫や納期など変わりやすい情報について、「どこを見れば最新か」「誰が更新するか」が決まっており、最新か怪しい時はAIにも「断言させない」ルールがある。 | A/B/C |
| 4 | 判断の引き継ぎ | 基本の対応と「例外(イレギュラー)」が明確に分かれており、「ここまではAI」「ここからは人間」という役割分担と担当者がハッキリしている。 | A/B/C |
| 5 | 根拠の追跡 | AIが答えた内容に対して、「なんとなくそれっぽい」で済ませず、「どのデータ(商品説明やFAQなど)を読んでそう答えたか」まで裏付けを確認できる。 | A/B/C |
会社全体で1つの点数をつけるより、商品の説明は整っているが、代替品の判断は属人的、といった凹凸を見るほうが、次の仕事を決めやすくなります。
最初の範囲は、10商品と、20の質問くらいに絞ります。主力商品に、問い合わせの多い商品や条件の複雑な商品を少し混ぜる。質問は、実際の問い合わせから拾う。冒頭のシャツなら、素材を答える質問と、出張先での使い方を相談する質問の両方があると、なお良いです。項目を埋める作業が、お客様の何に役立つのかを見失わずに済みます。
質問ごとに、答えるための情報、正しい回答の条件、参照先、直す担当者を残す。AIを使っているなら、変更前の回答も保存しておく。定義や関係を直した後に、同じ問いをもう一度試す。回答だけで判断が難しければ、お客様の対応をしている人に見てもらう。この小さな一巡が、点検を仕事に変えてくれます。
特別なデータベースがなくても、最初はスプレッドシートで着手できます。商品を識別するIDと、言葉の意味、関係、参照先を揃えるところから始めれば十分です。既存の管理情報で足りるならそれを使い、件数や更新の複雑さが増えたところで、仕組みを考える。道具を選ぶための要件も、この作業のなかで見えてきます。
うまく答えられなかった質問が続くと、AIに対してがっかりするかもしれません。けれども、そこには、これまで人が黙って埋めていた情報の隙間があります。その隙間を1つずつ埋めることが、AIのためにも、次に入ってくる担当者のためにもなる。まずは、自社が今説明できることと、まだ誰かに聞かなければわからないことを、同じ机の上に並べてみてください。
次回は、その点検で見えた不足をもとに、商品データと日々の知識をどう整えていくか、実際の作り方に進みます。
