生成AI販促の成否を分ける文脈整備と入力。AIの言葉を顧客はどう受け止めたか、西村ジョイらが検証

顧客はどう受け止めたのか。ランダム化比較試験による検証

　今回私たちが行ったRCTでは、購買履歴のある顧客から参加者を募り、無作為に2つのグループに分割。一方にはAIが1人ずつ個別に生成したメッセージを、もう一方には販促担当メンバー、つまり“本物の人間”が作成したグループ共通のメッセージを、それぞれLINEで配信しました。

　対象は西村ジョイの8店舗で、1人あたり約3ヵ月にわたって配信しました。ここで重要なのは、顧客本人は、自分が受け取ったメッセージがAIによる生成なのか、担当者が書いた文章なのかを知らないことです。

種明かしをするかどうかについても無作為に決定

　配信終了後、参加者にアンケートを実施しました。このアンケートには、もう1つ仕掛けを入れています。途中で「あなたに届いたメッセージは、AI（または担当者）が作成したものでした」と「事実を伝える群」と「伝えない群」を、さらに無作為に分けたのです。

　これにより回答者は「実際の書き手（AI／担当者）」と「種明かしの有無」の組み合わせで、4つの群に分かれます（図5）。書き手を推測してもらう設問は種明かしの前に、読みやすさや不快感などを尋ねる設問は種明かしの後に置きました。

　C群とD群を比べると「文章そのもの」による違いがわかります。A群とC群を比べると「AIが書いたと開示すること」の影響が確認できます。

結果1：顧客は書き手をほとんど見分けられていない

　まず、「メッセージはAIと人間のどちらが書いたと思うか」を尋ねた結果です。種明かしをしなかったC群とD群の回答を比べます（表1）。AI生成のC群、担当者作成のD群の結果は概ね同じで、「AI（が書いた）」と答えたのが約2割、「人間（が書いた）」が4割強、残りは「わからない」となりました。

　今回の配信内容では、顧客はAIが書いた文章と人間が書いた文章をほとんど見分けられていないと言ってよさそうです。