記念特集 2-1-5 オノマトペによる感性の定量化――‘もの’と感性をつなぐ技術へ――

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.100 No.11 (2017/11) 目次へ

前の記事へ次の記事へ


fig_5.png

坂本真樹 電気通信大学大学院情報理工学研究科情報学専攻

Maki SAKAMOTO, Nonmember (Graduate School of Infomatics and Engineering, The University of Electro-Communications, Chofu-shi, 182-8585 Japan).

電子情報通信学会誌 Vol.100 No.11 pp.1193-1198 2017年11月

©電子情報通信学会2017

1.は じ め に

 言語学や心理学の研究対象でしかなかった擬音語や擬態語の総称であるオノマトペに,情報技術を適用することで,オノマトペで表される人が五感で感じること,好き嫌いなど個人差のある感性まで定量化できるようになった.日本人は,五感を通して感じたことを直感的に一言のオノマトペで表現することが多い.例えば,「きんきんした音」,見た目から感じたことは「きらきらしてきれい」,手触りから感じたことは「ふわふわして気持ちがいい」,食べたり飲んだりしたときは「さくさくしておいしい」,更に「ずきずき痛い」など痛みもオノマトペで表すことが多い.このような言葉は,顧客が製品について持っている印象を把握する上で重要な情報であるが,多数の形容詞対ごとに7段階などで評価を求める従来の調査法と異なり,一言のオノマトペから顧客が製品について抱いている印象を定量的に把握することは難しかった.そのため,この技術を基に構築したシステムは,「ふわふわ感のあるものが欲しい」といった顧客からの直感的な言語による要望を実現する製品を開発しようとする企業からの需要が多く,これまで15社以上の企業との共同研究及びライセンス実績がある.

 本稿では,オノマトペに表される感性の定量化技術及びその技術により構築したシステムの紹介と,その応用事例として物理パラメータと結び付けた研究を紹介する.オノマトペと物理パラメータが結び付けられる一方で,オノマトペと‘もの’との関係は一義的には決まらず,個人差がある,ということに対応する技術についても紹介する.最後に,‘もの’と感性を結び付ける技術の未来について展望を述べる.

2.オノマトペに結び付く感性

 一般的に言語の持つ音と言語によって表される意味の関係は言語共同体ごとに恣意的に決められたものであるとされるが,言語表現の中には,音象徴性(Sound symbolism)と呼ばれる,音韻や形態とそれが表す意味や感覚的印象が結び付くものがある.音象徴性については,言語学や心理学において,古くから欧米を中心に研究が盛んに行われ,ブーバ・キキ効果(Bouba/Kiki effect)として有名な,言語の持つ音と図形の視覚的な印象の間に発生する連想が言語的背景によらず一定であるとする実験結果が報告されている(1).次章で紹介するシステムは,任意のオノマトペが表す印象を,音象徴的データテーブルを参照して解析するものであることから,「ブーバ」「キキ」のような音象徴語を入力しても,その印象を適切に出力することができる.

 日本語オノマトペは,音象徴が体系的であり,特定の音や音の組合せが語中の箇所によって特有の音象徴的意味を持ち,語の基本的な音象徴的意味は,その語を構成する音から予測できるとされる(2).筆者の研究グループでは,音象徴性が,五感を通して知覚した刺激に対する快・不快などの感性評価においても観察されることを示してきた.触覚については,様々な触素材に触れたときの感覚を被験者にオノマトペで表現してもらうとともに,快・不快の評価をしてもらう実験を行った.その結果,例えば,心地良い手触りは/u/,/a/,/h/,/s/,/m/,/t/といった音韻を使ったオノマトペで表現されるのに対し,不快な手触りは/i/,/e/,/z/,/sy/,/j/,/g/,/b/といった音韻を使ったオノマトペで表現される傾向があることが示された(3).また,味覚についても,被験者に様々な味やテクスチャーの飲料を飲んだときの感覚をオノマトペで回答してもらうとともに,快・不快を評価してもらう実験を行った(4).その結果,/a/,/h/,/s/,/sy/が快評価と結び付き,/i/,/d/,/z/,/g/,/b/が不快評価と結び付くなど,触覚の実験結果とほぼ同様に,全体的に清音が快評価と結び付きやすく,濁音が不快評価と結び付きやすいことが示された.

 人の感性データの収集手法として,多数の形容詞対ごとに被験者に評価を求めるSD法(Semantic differential method)(5)が国内外の学術研究や産業界での市場調査などで広く用いられてきた.被験者は,「堅い―柔かい」など対立する形容詞対で構成された評価項目ごとに,対象となる素材の印象を5段階ないし7段階の尺度上に評定する.この方法は,被験者が様々な素材について感じている印象を,あらかじめ実験者が設定した一定数の評価項目で被験者に評価してもらうことにより把握するため,例えば顧客が製品について感じている印象を調査しようとする場合,できるだけ多数の形容詞について回答を求める必要があり,調査負荷が大きいという課題があった.そこで,一言のオノマトペに感性的印象が結び付くというオノマトペの特長を生かし,人が‘もの’について持つ印象を定量的に把握できる新たな技術を開発した.

3.オノマトペによる感性の定量化

 本稿では清水ら(2014)(6)に詳述されている,「明るい―暗い」,「湿った―乾いた」,「快適―不快」,といった五感や感性に関連する43対の評価尺度を用いて,ユーザが入力した任意のオノマトペで表される感性印象を定量化する技術とそれを基に構築したシステムについて紹介する.なお,本稿で紹介するオノマトペの意味の定量化技術は,オノマトペで表される痛みの強度と質を定量化するシステムにも応用している(7)

 オノマトペは「子音+母音+(撥音・拗音など)」という形態で記述できる.子音の部分から濁音・半濁音及び拗音を分離し,例えば「か・きゃ・が・ぎゃ」はいずれもカ行であるというように,複数の音韻を子音行ごとに集約したカテゴリーを「子音カテゴリー」とする.母音やその他の音韻特性についてもカテゴリーを定義している.これにより,オノマトペ表現を1モーラ(拍)目・2モーラ目ごとに「子音+濁音・半濁音+拗音+母音+小母音+語尾(撥音・促音など)」といった形式で記述できる.式(1)により,これら各音韻特性の印象の線形和として,オノマトペ全体の印象予測値が得られる.

math

(1)

 ここで,mathはある評価尺度の印象予測値,mathmathは各音韻特性のカテゴリー数量(各音韻特性が印象に与える影響の大きさ)を表す.mathmathはそれぞれ1モーラ目の「子音行の種類」,「濁音・半濁音の有無」,「拗音の有無」,「母音の種類」,「小母音の種類」,「語尾(撥音「ン」・促音「ッ」・長音「ー」)の有無」の数量である.またmathmathはそれぞれ2モーラ目の「子音行の種類」,「濁音・半濁音の有無」,「拗音の有無」,「小母音の種類」,「母音の種類」,「語尾(撥音・促音・長音・語末の「リ」)の有無」の数量である.mathは「反復の有無」の数量,Const.は定数項を表す.あらかじめ,全ての音韻を網羅する312個程度のオノマトペの印象を被験者に評価してもらう実験により,オノマトペを構成する各音韻特性がオノマトペの印象に与える影響の大きさを表す「各音韻特性のカテゴリー数量値(評価尺度43対ごとのmathmath)」を調査しておけば,あらゆるオノマトペの印象評価値を推定することができる技術である.例えば,「ふわふわ」というオノマトペについて,音韻は,「ふわ」の反復で,1モーラ目は「ハ行」,「ウ」,2モーラ目は「ワ行」「ア」であるため,「(1)堅い―柔かい(7)」の評価尺度において以下のように印象が予測される.

math(1 モーラ目:子音「ハ行」)math(1 モーラ目:濁音・半濁音なし)

math(1 モーラ目:拗音なし)math(1 モーラ目:母音「ウ」)math(1 モーラ目:小母音なし)

math(1 モーラ目:語尾なし)math(2 モーラ目:子音「ワ行」)math(2 モーラ目:濁音・半濁音なし)

math(2 モーラ目:拗音なし)math(2 モーラ目:母音「ア」)math(2 モーラ目:小母音なし)

math(2 モーラ目:語尾なし)math(反復あり)+定数項=6.28

 本モデルの印象予測値は,7段階SD法印象評価値を基に算出したカテゴリー尺度で設定されているため,予測値6.28は「堅い―柔かい」の評価尺度,「柔かい」印象が強いことを表している.印象予測モデルとカテゴリー数量の精度を評価するために,43対の評価尺度での実測値と予測値の間の重相関係数を算出した結果,評価尺度43対のうち13対で0.9以上,残り全ての30対で0.8以上0.9未満となり,被験者の実際の評価をよく推定できるモデルであることが示された.図1は,この技術で構築したシステムによって,「もふもふ」という近年新しく生まれたオノマトペを解析した結果である(図では,1~4~7の数値を,両極尺度であることを分かりやすくするために-1~0~1に正規化している).

fig_1.png

4.オノマトペと物理パラメータを結び付けた応用事例

 3.で紹介したオノマトペによる感性の定量化技術を応用し,オノマトペと物理パラメータを結び付けた鍵谷ら(2015)(7)の研究の一部を紹介する.

 オノマトペは,「どろどろ」「とろとろ」といった粘性を表現するときに使われることがある.そこで本章で紹介する研究では,オノマトペで表される粘性動画像を推薦するシステムを構築している.「『どろどろ』した映像を作りたい」といった際の具体的な作成指針の提案が可能になる.

4.1 粘性表現を取得するための心理実験

 はじめに,粘性の評価に適した(素材の動きを認識しやすい)素材を選び出すため,CGで作成した動画像素材50種を被験者3名で評価する予備実験を行った.CG動画像は,異なる粘度の流体が流れる様子を表現しており,60枚の画像を30枚/秒でつなぎ合わせ,2秒間で再生される.また,流体の動きには10パターンが存在し,それぞれのパターンには5段階の粘度(100m2/s:粘度高~104m2/s:粘度低)が与えられている.予備実験は,各動画像素材から知覚される粘性を点数(0~100点)で評価し,その流体の動きから想起されたオノマトペを回答するという方法で行った.この結果,計25種の動画像素材が選定された.選定された動画像25種(粘度5段階×動作5パターン)に,これらを静止画像として切り出した静止画像25種(粘度5段階×動作5パターン)を加えた計50種を本実験で用いることとした.人間は,視覚情報の処理を行う際,物体の動きや形状についての処理と位置や運動についての処理を別々の経路で行っているため,それぞれの処理経路による印象評価への影響を見るために,視覚刺激の素材として,静止画像と動画像の2パターンを用意した.実験では,被験者28名に,50素材をランダム順で複数回表示し,1順目ではイメージされたオノマトペを回答,2~4順目では粘性を0~100点で評価させた.

 実験の結果,回答が未完であった3名の結果を除いた,動画像素材の粘性を表すオノマトペ素材25種×被験者13名=325個,静止画像素材の粘性を表すオノマトペ素材25種×被験者12名=300個,計625個(306種類)のオノマトペが得られた.

4.2 粘性動画像推薦システム

 実験で得られた306種類のオノマトペを,オノマトペによる感性評価システムで解析し,それぞれについて43尺度の形容詞対における評価値を得た.これらの評価値について重回帰分析を行い,粘性に関連する尺度のみで構成された以下の重回帰式(R2=0.532, P<0.001)を導出した.43尺度の中から特に粘性に深く関係する尺度を,変数増減法(ステップワイズ法)によって求めた.この際Pin=0.5,Pout=1.0とした.導出された重回帰式及び重回帰分析の結果は以下の式(2)のとおりである.なお,重回帰分析で目的変数として使用した動粘性の値(0~4)は,素材の作成に使用したblenderのパラメータの一つである,動粘度(kinematic viscosity,単位m2/s)の底10のlogをとり,符号を反転させたものである.

math

(2)

 粘性表現データベースには,実験に使用した動画像素材計25種を用いている.これらの素材はblenderを利用してそれぞれ1(log101=0)~0.0001(log100.0001=-4)の動粘度で作成されており,重回帰式の結果から最も近い値をとる粘性動画像を出力するものである.

 図2は,実装したシステムに「どろどろ」を入力した結果の画面である.ウィンドウ上部のテキストボックスに,ユーザが任意の粘性を表すオノマトペを入力して判定ボタンを押すと,下部のフレーム右上に,導出した重回帰式により算出した動粘度が表示される(「どろどろ」の場合,動粘性は10-1.31).フレーム左上には,粘性に関する5尺度についての印象評価結果が表示される.フレーム下部には粘性表現データベースから,導出された動粘性に最も近い値を持つ五つのパターンの動画像が推薦される.

fig_2.png

5.オノマトペと‘もの’の関係性

 前章では,オノマトペ感性評価システムによって数量化される印象次元と物理パラメータを一義的に対応させて粘性動画像を推薦するシステムについて紹介した.

 しかし,どのようなオノマトペをどのような‘もの’と結び付けるかは,人によって異なり得る.肌が乾燥気味の人には「かさかさ」しているように感じられるものが,乾燥していない人には「さらさら」に感じられるかもしれない.そこで,オノマトペと‘もの’の対応付けの個人差を簡便に把握できるシステムも開発した.以下では,坂本・渡邊(2016)(8)について概要を紹介する.

 実装例では,Sakamoto et al.(2013)(9)によって標準化された50種類の触素材を用いた.視覚を遮断した21~24歳(平均22.8歳)の被験者10名(男性6名,女性4名)に,触素材を一つずつランダムに提示し,利き手の人指し指で横になぞる動作と押す動作で触れてもらい,「温かい―冷たい」,「堅い―柔かい」,「弾力のある―弾力のない」,「湿った―乾いた」,「滑る―粘つく」,「凸凹な―平らな」,「なめらかな―粗い」の7尺度において7段階評定法で回答を求めた.そして,各素材の尺度ごとの平均評定値から各素材間の相関係数を算出し,多次元尺度構成法によって触素材マップを作成した.

 オノマトペマップの作成に際しては,一般的な触感を表すオノマトペ43語を選定し,それらを3.で紹介したオノマトペ感性評価システムに入力し,43語それぞれに対して,触素材の評価と同様に「温かい―冷たい」,「堅い―柔かい」,「弾力のある―弾力のない」,「湿った―乾いた」,「滑る―粘つく」,「凸凹な―平らな」,「なめらかな―粗い」の7尺度の評価値を取得した.オノマトペ43語の7尺度における評価値を用いて主成分分析し,第1主成分を横軸,第2主成分を縦軸としてマップを作成した.第2主成分までの累積寄与率は80.9%であった.

 次に,触素材マップとオノマトペマップをユーザの主観に合うようにすり合わせるシステムについて述べる.はじめに,オノマトペマップと触素材マップの質感印象がある程度合うように二つを重畳した.具体的には,二つのマップはそれぞれ異なるデータで独立に作成されたものであるが,同じ7尺度を使用しているため,触素材の印象評価値,オノマトペマップの軸を参考にして中点を合わせ,座標値を調整し,800×600(横×縦)ピクセルの画面上に重ね合わせた.

 ユーザはオノマトペマップ上の各オノマトペを,最も印象の合致する触素材の位置へと移動させる.このとき,ユーザが一つのオノマトペを移動させると,その他のオノマトペも,オノマトペ感性評価システムの出力に基づくオノマトペ間の類似度に合わせて自動的に移動する.幾つかのオノマトペを移動させることを何度か行うことで,個人の主観に合ったオノマトペ全体の関係性を効率的に調整することができる.

 本システムでは,あるオノマトペAを移動させた際に,オノマトペBが受ける影響係数math(0~1の値)を式(3)のように定義し,BもAの移動量のmath倍だけ移動させる.影響係数はガウス関数であり,AとBの距離(math:ピクセル)が大きくなると係数は指数関数的に小さくなる.数式のmathの値はAの影響の及ぶ範囲を規定する定数で,本システムでは95とした.画面端のオノマトペを移動させたときには,およそ画面中央から離れたオノマトペには影響を及ぼさない値である.

math

(3)

 図3のiPadに実装したバージョンでは,ユーザはオノマトペを移動した後,その位置を2回タップすることで固定できる.次に,別のオノマトペを移動する際には,固定されたオノマトペの影響も加味して考える.固定されたオノマトペAと,次に移動させるオノマトペBの近傍にある,オノマトペCが受ける影響係数mathを式(4)で定義する.ここでは,BとCの距離(math:ピクセル)の影響(第1項)以外に,固定されたAとCの距離(math:ピクセル)の影響(第2項)が存在する.ただし,Aからの影響はBに比べて小さく設定してある(第2項の分子の値をmathとしている).

math

(4)

 ユーザがオノマトペを固定していくにつれ,mathの第2項以降に,固定したオノマトペの影響が付加され,移動するオノマトペの影響が小さくなる.このような手順によって,オノマトペマップをユーザの感覚に合うように変形することができる.少数のオノマトペを操作するだけで,他のオノマトペも類似度分だけ移動するアルゴリズムを考案したことにより,評価時間が短縮され,長時間の複雑な実験が困難な高齢者にとっても負担の少ない手法を実現した.このシステムにより,個人の感じ方の違いをより微細かつ簡便に把握できることが期待される.

fig_3.png

6.おわりに:‘もの’と感性を結ぶ技術の未来

 文部科学省による科学研究費補助金新学術領域「多様な質感認識の科学的解明と革新的質感技術の創出(略称,多元質感知)」という,脳科学,心理学,工学などの研究者が集まって共同研究を推進するプロジェクトがある.計画班代表の一人として,このプロジェクトに筆者も参画している.助成期間2015~2019年度において,筆者らの班が取り組む課題は,実社会の質感をマイニングすることにより,質感認知メカニズムを解明するとともに,質感研究を実社会で生かす質感工学を構築するというものである.具体的には,多様な質感に対する物理特徴,知覚表現,言語や多次元尺度値として記述される感性データを,実社会における様々な実例から掘り起こし,それらの対応関係を同定・蓄積することで共有化する仕組みを実現したい.例えば,「さらさら」という同一言語表現(オノマトペ)でカテゴリー化される異種素材(例えば紙や布)に共通する物理特徴や視触覚に関する知覚表現と感性言語表現との関係性を把握する.更に,経験や嗜好,価値判断などに起因する感性データの個人差を表現可能な物理特徴―知覚表現―オノマトペマッピングモデルを構築することにより,感性的質感に基づく素材推薦など,個性適合型‘もの’づくりの基盤技術が提案できる.

 本稿で紹介したオノマトペによる感性評価システムは,「多元質感知」の前領域の「質感脳情報学」による助成研究時代から構築してきたものであるが,既述のオノマトペによる粘性動画像推薦システムのほか,オノマトペによる痛みの定量化(10),オノマトペによる商品検索への応用(11),オノマトペによる金属調加飾デザインへの応用(12)など様々な研究に応用されている.‘もの’と感性を結ぶユニークな技術を今後も開発していきたい.

 謝辞 本研究は文部科学省科学研究費補助金新学術領域研究質感脳情報学(課題番号23125510及び25135713)と多元質感知(課題番号15H05922)の助成を受けたものである.

文     献

(1) V.S. Ramachandran and E.M. Hubbard, “Synaesthesia-a window into perception, thought, and language,” Journal of Consciousness Studies, vol.8, no.12, pp.3-34, 2001.

(2) S. Hamano, The sound-symbolic system of Japanese, CSLI publications and Kuroshio, 1998.

(3) 渡邊淳司,加納有梨紗,清水祐一郎,坂本真樹,“触感覚の快・不快とその手触りを表象するオノマトペの音韻の関係性,”日本バーチャルリアリティ学会論文誌,vol.16, no.3, pp.367-370, 2011.

(4) M. Sakamoto and J. Watanabe, “Cross-modal associations between sounds and drink tastes/textures: a study with spontaneous production of sound-symbolic words,” Chemical Senses, vol.4, no.3, pp.197-203, 2016.

(5) C.E. Osgood, G. Suci, and P. Tannenbaum, The measurement of meaning, University of Illinois Press, 1957.

(6) 清水祐一郎,土斐崎龍一,坂本真樹,“オノマトペごとの微細な印象を推定するシステム,”人工知能学会論文誌,vol.29, no.1, pp.41-52, 2014.

(7) 鍵谷龍樹,白川由貴,土斐崎龍一,渡邊淳司,丸谷和史,河邉隆寛,坂本真樹,“粘性知覚に関する音象徴性の検討,”人工知能学会論文誌,vol.30, no.1, pp.237-245, 2015.

(8) 坂本真樹,田原拓也,渡邊淳司,“オノマトペ分布図を利用した触感覚の個人差可視化システム,”日本バーチャルリアリティ学会論文誌,vol.21, no.2, pp.213-216, 2016.

(9) M. Sakamoto, J. Yoshino, and J. Watanabe, “Development of tactile materials representing human basic tactile sensations,” Proceedings of the 5th International Congress of International Association of Societies of Design Research (IASDR 2013), pp.1068-1074, 2013.

(10) M. Sakamoto, Y. Ueda, R. Doizaki, and Y. Shimizu, Communication support system between Japanese patients and foreign doctors using onomatopoeia to express pain symptoms,” Journal of Advanced Computational Intelligence and Intelligent Informatics, vol.18, no.6, pp.1020-1025, 2014.

(11) 土斐崎龍一,飯場咲紀,岡谷貴之,坂本真樹,“オノマトペと質感印象の結び付きに着目した商品検索への画像・テキスト情報活用の可能性,”人工知能学会論文誌,vol.30, no.1, pp.124-137, 2015.

(12) M. Sakamoto, J. Yoshino, R. Doizaki, and M. Haginoya, “Metal-like texture design evaluation using sound symbolic words,” International Journal of Design Creativity and Innovation, vol.4, no.3-4, pp.181-194, DOI: 10.1080/21650349.2015.1061449, 2016.

(平成29年5月19日受付 平成29年6月10日受付)

images/fig_4.png

(さか)(もと) ()()

 1998-03東大大学院総合文化研究科言語情報科学専攻博士課程了.同専攻助手,電通大・電気通信・准教授を経て,2015-04から同大学院情報理工学研究科教授.人工知能学会,情報処理学会,VR学会,感性工学会,認知科学会等各会員.


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録


  

電信情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電信情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。