
動画像表情認識の動向
Technology Trends of Dynamic Facial Expression Recognition
Abstract
顔の表情は人間の感情や内的状態を把握する手段として重要である.このような背景の下,コンピュータが自動的に顔の表情を認識・分析する「顔表情認識」技術は,人間と機械が円滑にコミュニケーションを行うための重要な技術として注目されている.本稿では特に,動的な変化を捉え,より高精度な表情分析を可能にする「動画像表情認識」に焦点を当てる.本稿では,近年の機械学習において重要な役割を担っているデータセットの動向を起点に動画像表情認識課題を整理し,人間が日常的に行う表情認識の複雑さについて解説する.次に,これらの課題に対して提案されている主要な手法を紹介し,最後に今後期待される応用事例について複数の分野にわたって紹介する.
キーワード:動画像表情認識,機械学習,深層学習,感情認識
1. は じ め に
顔の表情は人間の感情や疲労といった内的な状態を把握する手段として重要な役割を果たしている.そのため,顔表情をコンピュータが自動的に認識・分析する「顔表情認識」技術は,機械が人間を理解し自然で円滑なコミュニケーションを実現する上で極めて重要であり,様々な分野での活用が期待されている.例えば自動車のドライバー監視システムのドライバーの感情や疲労状態の検知による安全性の向上,教育現場における学習者の感情や集中状態を把握した効果的な教育支援,広告の効果測定に視聴者の感情反応を分析する事例など,顔表情認識技術の応用範囲は非常に広い.
顔の表情変化を正確に理解するためには,表情が顔の筋肉の動きに起因して時間的に連続的に変化するという動的な特性を十分考慮する必要があることが,これまでの研究(1)によって明らかにされている.静止画像のみでの表情認識と比較して,動画像を用いた動的な顔表情認識は,表情の微妙な変化や推移を捉えることができ,より正確な表情の理解を実現する上で重要である.そこで,本稿では,動画像表情認識に焦点を当て,近年の機械学習において重要な役割を果たしているデータセットの動向を起点として動画像表情認識の主な課題を整理し,人間が何気なく行う表情認識を機械が行うことの難しさについて解説する.そして,それらの課題に対して提案されている手法や動画像表情認識の応用例について述べる.
2. 動画像表情認識とその課題
動画像表情認識とは,数秒間程度の短い動画像から,空間的特徴と時間的特徴を抽出して,感情などの内部の状態を自動で識別・推定するタスクである.特に感情の認識・推定に関しては多くの研究がなされている.扱う感情は様々であるが,例として,Ekmanらが提唱した基本的な六つの感情,すなわちAnger(怒り),Disgust(嫌悪),Fear(恐怖),Happiness(喜び),Sad(悲しみ),Surprise(驚き)を中心とした離散的な感情クラス,複数の基本感情が混在する複合感情(Compound Expressions),Russellが提案したValence(快・不快度合い)とArousal(興奮度合い)という二次元で感情を連続的なものとして捉える方式などがある.感情の捉え方にはほかにも様々な方式が提案されているが,本章では代表例として離散的な感情クラスの識別に関する話題を扱う.

