アンケートにありがちな5つの誤解

　では、アンケートを実施したことがある方に質問です。あなたはこれまでに以下のようなことをしていませんか。

　分析するときのちょっとした判断が、思い込みや誤解にもとづいているとしたら、せっかくアンケートを実施しても正しい結論は導き出せません。これら5つのケースをひとつずつ検証していきましょう。

①満足度アンケートにおける5段階のスケール評価で、
90%の人が「大変満足・満足」と回答した結果から「良好」と結論を出している

　たとえば自社製品の満足度調査を行い、「大変満足」が40％、「満足」が50％だったとき、両方足して90％が「大変満足・満足」という結果が得られたら、「90％のお客様が満足している」と理解して安心してしまうかもしれません。90%の人が満足というのは事実ですが、問題はこれが「良いか悪いか」ということです。

　もし、「大変満足・満足」の合計パーセンテージが、自社は90％、A社は95％、B社は98％だったらどうでしょう。同じ90%台でもA社やB社と比べると満足度が低いですよね。ここから「他社は自社とは違う取り組みをしているのでは」という仮説を立てることもできます。

　満足度調査は一般的に継続的に行われますが、第1四半期は95％、第2四半期は98％、第3四半期は95％、第4四半期は90％と変化している場合、同じ90%台でも上下があり、何らかの問題を抱えていることも考えられます。たとえば「販売」「サービス」の現場は、忙しい時期はオペレーションに負荷がかかります。前回調査と比較して満足度が低くなった場合、こうした現場の負荷によって、お客様に何らかの不満要素を与えている可能性もあります。そう考えると、たとえ満足度が90%を越えていても、むしろそこに問題を感じ取るべきだと思います

（以上の説明は、前回アンケートや他社比較の文脈におけるパーセンテージの違いが「有意な差がある」と仮定した場合に成り立ります。「有意差」については別の回で説明したいと思います）。

　ここで大切なのは、結果から良否を判断するためには適切な「判断基準」がいるということです。実はどのような世界にも当てはまるのですが、判断が必要な数字には「意味付け」が必要です。

・何に対して良い／悪いのか
・何に対して問題がある／ないを判断するのか
・何に対して多い／少ないと判断するのか

　このような「判断」「意思決定」につながるようにアンケートを設計することが必要なのですが、経験や知識がない人は「聞きたいこと」をダイレクトに聞いてしまい、ドツボにハマってしまうのです。

②自社の顧客リストと調査パネルの結果を一緒に集計していた

　これは一言で言うと「母集団N」が違います。簡単に説明すると「母集団N」とは「対象となっている物事全体」のことを指します（NはNumberの頭文字）。これは実際にあった話なのですが、自社の製品カテゴリの認知度を確認する際に「自社の顧客リストに対して行なったアンケート結果」と、「マーケティング会社が持っているパネル（調査回答者のグループ）から抽出した対象者にアンケートをとった結果」を一緒に集計したいという提案があり、これを阻止したことがありました。

　それは「自社の顧客リスト」と「マーケティング会社のリスト」が持つ特性に大きな違いがあるからです。「自社の顧客リスト」は少なくとも自社もしくは自社製品を理解している可能性がある人たちで、「マーケティング会社のリスト」は必ずしも自社もしくは自社製品を知っているとは限りません。

　自社製品カテゴリの認知度を把握することが目的なのに、前提条件が違う2つの調査結果を一緒にしてしまったらどんなことが起こるでしょうか。一般的な認知度を把握したいのに、すでに認知している可能性が高い自社顧客のデータによって認知度を高めに見積もってしまうかもしれません。結果としてミスリードにつながってしまうということがありえるのです。

　異なる特性を持つ母集団を混ぜてしまうことの危険性がわかっていただけたでしょうか。アンケートを実施する際は「対象者はどんな人たちなのか」というところをしっかり想定したうえで設計を行い、得られたデータを利用するようにしましょう。

③少ない回収数（サンプル数が30未満）で集計して結果を報告していた

　これはよく見かけるケースで、「統計上安定する数字かどうか」という問題を含んでいます。リサーチを行う場合、「母集団N」から実際に回答してくれる人（サンプル／標本）を抽出し、その人たちから回答をもらいます。統計学上はサンプル数が母集団Nに近い数になればなるほど統計上の安定性が増し、少なくなればなるほど不安定になります。

　実は安定するレベルを考えると、サンプル数は「100以上」を目指すのがセオリーなのですが、100以上集めるのは小規模のアンケートでは難しいこともあります。諸説ありますが、サンプル数が「30未満」では分布が安定せず有意な差がでないものとして、今回はここをボーダーとして扱っています。「サンプル数n<30」となったアンケートの結果を使う場合は慎重になる必要があり、そのバックグラウンドとして統計的知見が必要となる、ということをおぼえておいてください。

④出現数（件数）とパーセンテージを特に意識して使い分けていない

　これについてはわかりやすい事例があるので紹介しましょう。「東洋経済オンライン」に掲載された「社会貢献企業ランキング」についての記事です。

◎社会貢献支出の多いトップ50社とは？（東洋経済オンライン、2015年3月11日掲載）

　これは企業がどれくらい社会貢献のために支出したかをランキングとしてまとめたものですが、実は「社会貢献支出額」と、その企業の経常利益に占める支出額の割合「社会貢献支出比率」の2つのランキングが掲載され、それぞれ企業の顔ぶれが異なっています。例としてかつて私が仕事をしていた自動車業界を見てみると、「支出額」ではトヨタ、ホンダが上位にいますが、「支出比率」ではマツダは29位と業界トップで、他は圏外になっています。

　なぜこうしたことが起きるのでしょうか。これは、実数（支出額）とパーセンテージ（比率）ではその意味するところが異なるからです。金額だけを見れば、額面が大きいほど高い評価が得られるでしょう。しかし、その企業の売上規模によっては、同じ1億円であっても負担感が違います。

　この事例で言うと、マツダは金額ではトヨタ、ホンダには及ばないものの、「自分たちなりにできうる限りの努力をしている」ということがうかがえます。これはこれで非常に評価できるものであり、決して実数だけでは判断できない要素なのです。このように、実数とパーセンテージの使い分けをしっかり意識することも大切です。

⑤アンケート対象者を決め打ち、あるいは恣意的に決めている

　これを防止するために行なわれる手法が「無作為抽出（ランダムサンプリング）」です。アンケートの対象者をあらかじめ意図を持って選んでしまうと、必然的にある種のバイアス（偏り）のかかった結果が出ることは想像できるはずです。なるべく偏りのないよう、ランダムに対象者を選んで回答を得ることが必須となります。

　場合によってはこうした決め方をせざるを得ない場合もありますが、実態と乖離した結果となる可能性があるため、何らかの意思決定を行う場合は絶対にやってはいけません。

次回は「仮説」について説明します

　ひとつのアンケートを実施するだけでも、これだけのノウハウやテクニックが必要です。調査設計の重要性を理解していただけたでしょうか。もちろん「それほど重要な意思決定につなげることはないからサクッと簡易的に聞ければいいんだよ」ということもあります。

　ではそのような場合、何を目的にアンケートをするかというと「仮説を作るために必要な情報を得たい」ということに置き換えられるのではないでしょうか。次回は、この「仮説」について解説したいと思います。