特集記事 2021.04.20

顔画像解析と音声解析による感情や気分を解析するAIに挑むAffectivaとセレンス

INDEX目次

感情認識やムード（気分）をAIで理解することは、中長期の研究開発テーマとして注目されている。いわゆるアフェクティブコンピューティング（Affective Computing）という領域であるが、近年は機械学習・AI技術の進化に伴い、基本的な感情については顔画像を解析したり、声のトーンを解析することである程度は認識できるようになってきた。

一方で、顔にははっきりと出ていなくても、表面に出ない感情や気分は解析しにくい。そこで顔画像と音声という2つのセンシングデータをマルチモーダルに解析することで、より正確に感情・気分を分析する試みがされている。

Affectivaとセレンスは、お互いの強みを合わせることで、こうしたマルチモーダル感情認識を実装することに試みている。

Affectivaは顔画像による感情認識の有名ベンチャー

MITメディアラボからのスピンオフベンチャーであるAffectivaは、感情認識分野では非常に有名なベンチャー企業だ。2009年に設立された同社は、感情認識を行うEmotion AIを開発。FACS（顔面動作符号化システム）理論という、顔面動作から感情ラベルを付与する長年確立された理論をもとに、顔画像から感情を判定する。

https://www.youtube.com/watch?v=mFrSFMnskI4

同社公開の動画への直リンク

世界87か国以上から収集された800万人以上の顔画像データを保有し、独自に構築されたディープラーニングを使って判定を行う。FACS理論に基づき定義された顔面動作を21種類に分類（例えば注視している、眉を上げる、など）。また、基本感情となる悲しみ、嫌悪、喜び、怒り、恐怖、軽蔑、驚き、という7種類を分類することができる。

近年はアプリケーション開発のために自動車用途へ展開しようとしており、Automotive AIという車内のドライバーのモニタリング技術を開発。車載カメラを使用して、複雑で微妙な感情や眠気や気晴らしなどの認知状態から、キャビンの状態、キャビン内のドライバーと乗員の状態をリアルタイムで測定する。

対話型AIを開発するベンチャーNuanceからのスピンオフであるセレンス

一方のセレンスは、対話型AIを開発するベンチャー企業のニュアンス（Nuance）の自動車向け部門がスピンオフしてできたベンチャー企業だ。なお、このNuance社であるが、最近マイクロソフトが買収することが明らかにされた。

セレンスは音声認識AIを自動車関連企業へ展開している。例えば、トヨタのコネテクティッドサービスのエージェント機能（音声対話サービス）に、クラウドベースの音声認識技術を提供していたり、メルセデス・ベンツの車載システム「MBUX（メルセデス・ベンツ・ユーザーエクスペリエンス）」の第2世代にも採用されている。

https://www.youtube.com/watch?v=6s7J0QiLCyU

同社公開の動画への直リンク

さて、セレンスにおいても音声認識だけでなく、CES2020で発表された技術はマルチモーダル化が指向されている。音声認識、視線検出、タッチ、ジェスチャーを活用して、自然な車内体験を得られるように設計されている。いわゆるよくある、「ハイ、〇〇」のような音声AIと会話を始めるための、不自然なキックが不要な点などが特徴となっている。

2019年付近からマルチモーダルなHMIの共同開発を実施

両社の取り組みが公開されたのはCES2019である。この時、乗客の気分や倦怠感を把握しようとした車両が展示されていた。

AffectivaのAutomotive AIにより、車内のカメラを使用して、ドライバーの顔の表情と、セレンスのAIで声のトーンを分析。モビリティアシスタントがドライバーと乗客の認知状態と感情状態を理解できるようにしたことが両社の出発点となっている。

こうしたマルチモーダルな感情認識HMIは、ヨーロッパの大手自動車OEMとの研究プロジェクトが実施されていることが、2021年2月にポッドキャストでセレンスとAffectivaのトークで語られている（具体的な企業は不明）。

（補足）セレンスの音声認識AIがメルセデスのMBUXで採用されており、恐らくダイムラーが研究プロジェクトの相手であると推察される（あくまで推測）。

セレンスの担当者はこう述べている。
「私たちは、この人間と機械の相互作用がより「人間的」になることを想定しており、相互作用における人間性も理解できるように、機械を構築したいと考えています。これらの相互作用には、非常に重要な感情や気分が含まれます。私たちがそれらを理解することは、それらに力を与えます。テクノロジーが、人の幸福や欲求不満を理解できることは強力です。」

そして、ユースケースについても少し触れている。

「会議に向かう途中で車に乗っていると、突然、時間どおりに到着できない可能性があることに気づいたと想像してみてください。あなたは欲求不満になりますね。そしてもし、車がこの欲求不満を感じて心配を感じることができるなら、そのストレスのいくらかを軽減するのを助けるために、穏やかな方法でコミュニケーションすることによってドライバーをサポートできたらどうでしょうか？

そして、多くの車両アシスタントが感情的知性を示すもう1つの方法は、乗員に冗談を言うことです。もちろんユーモアは人によって異なります。しかし、システムがジョークを伝え、車両がそのジョークに対する反応を感知できる場合、AIを活用して、乗客が好むユーモアのタイプに合わせてジョークを調整することができます。これは、パーソナライズされたエクスペリエンスを作成するための1つのステップです。」

記事・コンテンツ監修

小林大三

アドバンスドテクノロジーX株式会社　代表取締役
野村総合研究所で大手製造業向けの戦略コンサルティングに携わった後、技術マッチングベンチャーのLinkersでの事業開発やマネジメントに従事。オープンイノベーション研究所を立ち上げ、製造業の先端技術・ディープテクノロジーにおける技術調査や技術評価・ベンチャー探索、新規事業の戦略策定支援を専門とする。数多くの欧・米・イスラエル・中国のベンチャー技術調査経験があり、シリコンバレー駐在拠点の支援や企画や新規事業部門の支援多数。企業内でのオープンイノベーション講演会は数十回にも渡り実施。