知識の森 生理計測を用いた感情推定

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.106 No.4 (2023/4) 目次へ

前の記事へ次の記事へ


知識の森

スマートインフォメディアシステム研究専門委員会

生理計測を用いた感情推定

菅谷みどり(芝浦工業大学)
doly@shibaura-it.ac.jp

本会ハンドブック「知識の森」

https://www.ieice-hbkb.org/portal/doc_index.html

1.生理計測を用いた感情推定とは

 近年,感情を生理計測により把握するという研究が注目されている.本稿は,こうした研究の背景,課題や方法について紹介を試みる.

 本来,感情とは,人における経験の情感的(Affective)あるいは情緒的(Emotional)な面を表す総称的用語とされており,心理学分野では主に次の三つの立場で議論されてきた.一つ目は,感情は,基本感情により形成されるという考え方である.Plutchik(1)やEkman(2)などは,人に基本感情として怒り,悲しみ,嫌悪,驚き,好奇心,受容,喜びなどが分類できるものとしている.二つ目は,Russell(3)に代表される次元説に基づく感情分類で,感情には,Valence(快―不快軸),Arousal(覚醒―眠気軸),Dominance(支配―非支配)などの基軸があり,その周りに感情を表現する形容詞対が配置され,一つではなく複数の次元の総称として表現されるという考えである(3).また,三つ目として,Andreassiによる感情状態を,外界に対する生体的な適応行動と認知の働きとみなす生理心理学的な立場である.

 前者の二つは実証的な検証が比較的困難であるのに対して,三番目のAndreassiらが提唱した生理心理学(Physiological Psychology)は,生理反応を計測することで,刺激に対する感情反応を客観的に評価できることから,近年特に注目を集めている(4).人の刺激に対する生理反応を計測するには脳波計,心拍計,皮膚電位,NIRSなどの多様なデバイスが利用可能である.また,生理変化の多くは周期的であることから信号処理分野などの情報通信技術との親和性も高い.更に,工学分野におけるものづくりは,長く対象となる人間の感情反応を客観的に計測することへの需要があった.生理計測による評価は,無意識の反応であり,恣意が入りづらいことから,こうした計測結果の応用により,客観的な評価に基づくものづくりができると期待されている.実際に,生理計測による感情評価技術は,医療,工学,マーケティングなどへの応用をはじめ,多様な分野への適用が広がっている(4)(6)

2.生体計測による感情状態の把握

 Andreassiは,生体が情動興奮状態にあるときの反応を「Fight or Flight(闘争か,逃走か)」と名付け,生体が生命の危機にさらされた場合に,生存目的に従い全身の筋肉を最大限に動かすための情動興奮状態を作り出すものとした.危機の察知には中枢神経からの指令と,それに応じた自律神経の活動による制御が生体に発生する.このことから,人の感情推定における重要な生理指標は,中枢神経系と自律神経系であるとされる.中枢神経系は脳と脊髄からなり,自律神経系は無意識に作用する制御系である.自律神経系は無意識に作用する制御系で,心拍数,瞳孔反応,性的興奮などの身体機能を調節する重要な役割を果たす.これらは感情認識の研究に多く用いられている(6).このことから,これら二つの生体指標について紹介する.

3.自律神経の計測による感情の評価

 Fight and Flightの際には,身体活動を活性化させる交感神経系(SNS : Sympathetic Nervous System)が強く働く.これらは,緊張,驚愕,恐怖などの感情の計測と対応付けられることが示されている(5).逆に副交感神経系(PNS : Parasympatheric Nervous System)の働きは,リラックスや安心などの感情と対応付けられるとされる.こうした自律神経の計測は,心電図(ECG)や,脈拍などの値から計測される.ECGでは,R波と呼ばれる最大電圧が周期的に観測される.R波の間隔(RRI)を周波数領域解析し,LF(Low Frequency)成分と,HF(High Frequency)に分け,LF,HFやその比率であるLF/HFにより判定する.時間領域解析では,pNNxや心拍(HR),呼吸数(RR)などの値が用いられる.交感神経と副交感神経は同時に亢進したり,同時に抑制する場合,片方が不変で,片方だけが亢進したり抑制されることがある(5)ことからも,単純ではなく,生理指標の理解を踏まえた上での感情研究が必要となる.

4.脳波(EEG)による感情評価

 中枢神経は脳と脊髄からなる生理信号として計測が可能である.感情の測定に用いられる技術は脳波(EEG),機能的磁気共鳴画像法(fMRI),陽電子放射断層撮影法(PET)などが存在する.中でも,EEGについては,時間分解能が高く,情動刺激に対する位相変化を研究することが可能とされている.また,非侵襲的で,迅速かつ安価であるため,感情刺激に対する脳の反応を研究する上で好ましい方法となっている(6)

 既に多くの神経心理学的研究により,脳波信号と感情との相関が報告されている.扁桃体(海馬の近く,側頭葉の前頭部に位置する)と前頭前野は多くの研究がなされている.特に,扁桃体の活性化はポジティブな感情よりもネガティブな感情とより関連しているとされる(7).α Powerの変化と脳半球間の非対称性は,情動と関連しているとされ,右前頭部の相対的な活性化は,恐怖や嫌悪などの引きこもり刺激やネガティブな感情に関連していることが報告されている.左前頭部の活性化は,接近刺激や,喜びや幸福などのポジティブな感情と関連している.このように,前頭部脳波の非対称な活動は,感情を反映していると考えられる(7)(9).また,先行研究では,男性と女性では感情刺激の処理方法が異なることが示唆されている.男性は現在の情動体験を評価するために過去の情動体験の想起に頼るのに対し,女性はより容易に情動システムに関与することを示唆している(10).また,情動が喚起されたときの脳波パターンは,女性同士ではより類似しているのに対し,男性ではより個人差が大きいという評価なども示されている(11)

5.マルチモーダル,機械学習,応用

 近年では更に,複数の生体指標を組み合わせた研究も提案されている.例えば,我々は生理指標の出力結果をRussell(3)モデルに対応付け,二次元座標の円環モデルを用いて解釈させることで,より直感的に感情を解釈するための方法を提案した(12).こうした複数の計測値を用いるマルチモーダルな評価も行われてきている.また,大量の生理指標値を機械学習により学習することで,感情モデルを構築する研究なども提案されている.鈴木らは,脳波や心拍などの多数の生理指標に対して,より主観的な感情を説明することができる指標を選択するために特徴量選択を行い,重要度の高い指標を選択し深層学習を適用して分類を行う手法を提案し,交差検証において100%の精度で感情モデルを構築した(13).近年では更に,こうした機械学習を取り入れた人の感情を理解するロボットの開発なども行われており,新しい工学分野の創造にもつながっている.

6.まとめ

 生理反応の計測を用いた感情推定の概要について,その背景と心理学分野との兼ね合い,また,自律神経と中枢神経での研究,応用を紹介した.感情研究は,人を理解し,工学分野を発展させる今後最も重要な分野の一つである.応用も含めた実証的な研究が今後発展することが期待される.

文     献

(1) R. Plutchik, “The nature of emotions,” Amer. Sci., vol.89, Art. no.344, 2001.

(2) P. Ekman, Basic emotions. hoboken, NJ, USA, Wiley, 1999.

(3) J.A. Russell, “A circumplex model of affect,” J. Personality and Social Psychology, vol.39, no.6, pp.1161-1178, 1980.

(4) J.L. Andreassi, Psychophysiology : human behavior and physiological response (5th ed.), Psychology Press, 2006.

(5) G.G. Berntson, J.T. Cacioppo, and K.S. Quigley, “Autonomic determinism : the modes of autonomic control, the doctrine of autonomic space, and the laws of autonomic constraint,” Psychol Rev., vol.98, no.4, 459-487, Oct. 1991.

(6) S.M. Alarcão and M.J. Fonseca,” Emotions recognition using EEG signals : a survey,” IEEE Trans. Affective Computing, vol.10, no.3, pp.374-393, July-Sept. 2019,

(7) G. Chanel, J.J.M. Kierkels, M. Soleymani, and T. Pun, “Shortterm emotion assessment in a recall paradigm,” Int. J. Human-Comput. Studies, vol.67, pp.607-627, 2009.

(8) M. Balconi and G. Mazza, “Brain oscillations and BIS/BAS (behavioral inhibition/activation system) effects on processing masked emotional cues : ERS/ERD and coherence measures of alpha band,” Int. J. Psychophysiology, vol.74, pp.158-165, 2009.

(9) Y. Liu, O. Sourina, and M.K. Nguyen, “Real-time EEG-based emotion recognition and its applications,” Trans. Comput. Sci. XII., pp. 256-277, Springer, Berlin, Germany, 2011.

(10) T.M.C. Lee, H.l. Liu, C.C.H. Chan, S-Y Fang, and J-H. Gao, “Neural activities associated with emotion recognition observed in men and women,” Molecular Psychiatry, vol.10, pp.450-455, 2005.

(11) J.-Y. Zhu, W.-L. Zheng, and B.-L. Lu, “Cross-subject and crossgender emotion classification from EEG,” Proc. Int. Union. Phys. Eng. Sci. Med., pp.1188-1191, 2015.

(12) Y. Ikeda, R. Horie, and M. Sugaya, “Estimate emotion with biological information for robot interaction,” KES-2017, Procedia Computer Science, vol.112, pp.1589-1600, 2017.

(13) K. Suzuki, T. Laohakangvalvit, R. Matsubara, and M. Sugaya, “Constructing an emotion estimation model based on EEG/HRV indexes using feature extraction and feature selection algorithms,” Sensors, vol.21, no.9, p.2910, 2021.

(2023年1月4日受付) 


オープンアクセス以外の記事を読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録

  

電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電子情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。