マルチモーダル計測で生活者のインサイトに多角的に迫る　

　タスクや環境との相性によって、最適な計測手法は変わってきます。また、調査目的によっては、一つの計測手法だけでは対応が難しいこともあります。このような場合には、複数の機器で計測を同時に行うマルチモーダル計測を行うことで、生体反応計測から多角的なインサイトを得ることができます。たとえば、運転時の行動を調査する際に、アイトラッキングをしながら発汗を計測することで、運転中の視線の動きと、ストレス状況を同時に取得することができます。同時に録画しておいた動画・インタビュー手法と、生体反応計測を組み合わせることにより、どう感じていたかという主観的な評価と、アイトラッキングと発汗による客観的なデータを組み合わせて、インサイトに多角的に迫ることができます。

　マルチモーダル調査の特徴として、単体では計測が難しいところを他のセンサーを使うことで、補完できる点があります。たとえば先程の例では、アイトラッキングと発汗を組み合わせることで、視覚的な刺激に注視していたか、前後の場面で視線の動きが変化しているか、といった情報を補完することができ、また逆に、アイトラッキングだけではわからない、ストレス状態を精緻に取得することが可能となります。

　タスク後にインタビューを行う従来の方法では、ストレス状態について主観的な判断が入る、記憶に残っている場面以外で聞き出せる情報に限界があるといった課題がありましたが、マルチモーダル計測を行うことで、意識的なバイアスを軽減した、客観的な指標を経時的に分析できるようになります。機器同士の干渉やセンサーの同期、マルチモーダルデータ解析など、単体で実施することに比べて複雑になるため、すべてのケースで実施することは難しいですが、状況が許せば検討したい手段です。

事例：ウェアラブルデバイスを用いた感情推定

　この研究では、ウェブカメラやリストバンド型のセンサーといった、簡易的なデバイスで取得可能な生体反応を用いて、感情の高まりやポジティブまたはネガティブな感情を予測することを目的としました。実験では対象者に様々な感情を喚起するための動画（可愛い動画からホラーまで）を見せ、表情、心拍や発汗を計測しました。

　動画の評価は、快・不快（ポジ・ネガ、感情価）、感情の高まり（覚醒度）のそれぞれ9段階で取得し、生体反応計測・表情解析のデータから動画の感情評価結果を予測できるかを検証しました。表情解析単体では、感情の高まりをある程度予測できましたが、快・不快の予測では他の生体反応計測手法に比べて精度が低くなりました。そこで、表情解析のデータと、脈波・発汗のデータを組み合わせて予測してみたところ、表情解析単体に比べて大幅に予測精度が向上しました。一般的には、発汗は自律神経の制御下にあるため、意識的なコントロールが難しいとされています。そのため、表情解析に比べて対象者の意識の影響を受けにくい指標であると言えます。

　この事例では、同じ「感情」を対象とする計測方法でも、組み合わせにより信頼度を高められる可能性があることが示唆されました。また、今まで表情解析では捉えきれなかった微妙な感情も計測できるようになる可能性もあります。このような取り組みを通して、感情を定量的に測定する仕組みの構築を進めています。

　本稿では、生体反応計測の概要と、マーケティング・リサーチの文脈で実施した事例、マルチモーダル計測について紹介しました。生体反応計測分野はハードウェア・ソフトウェアの進化が早く、これからも、より多様な生体データが、より少ない対象者負荷で、簡便に取得できるようになることが想定されます。今後も、生体反応計測を用いて、生活者の無意識を紐解いていけるか、研究を続けていきたいと考えています。

※1　本稿では、脳波（EEG）、脳血流計測（NIRS/近赤外光脳計測）、アイトラッキング、脈波・発汗計測等の手法の総称を「生体反応計測」としています。「ニューロリサーチ」や単に「生体反応」と呼ばれることもあります。