実際、AIの回答はどれくらい正確なのか

　現時点で、AIは企業の情報を実際にどの程度正しく伝えているのでしょうか。

　ナイルでは「AIブランドプロテクト」というサービスで、各企業におけるAIの誤情報対策を支援しています。その中で、各社の情報について50～100件ほどの質問を用意して網羅的にAIの回答を確認していますが、多くの企業で85％程度は正しい回答が得られています。逆に言うと、15％程度は事実と異なる回答が表示されていることになります。

　また、当社では独自に影響度を定義しており、「存在しない施設の紹介」「料金の誤り」「営業時間の誤り」「提供サービスの誤り」など、ユーザーに何らかの実害が出る可能性があるものを影響度「高」と定義しています。影響度「高」の発生割合は多くの企業で数％程度ですが、多店舗を運営している企業では、店舗が多いほど道案内や営業時間、各テナント情報などの誤回答が多く発生するため、10％を超えるケースもあります。

　当社のチェックで見つかったハルシネーションの例を挙げると、以下のとおりです。

　どの回答もそれらしい内容になっており、見ただけでは誤っているか判別がつきません。たとえば、サービス料金の誤りも、実際は3,000円のところを3,500円と案内するなど近い金額で提示されるため、すぐには気づきません。

　AIは急速に進化しており、人間を上回る性能を示す領域も増えていますが、情報の正確性にはまだ課題が多いと感じます。