記念特集 2-1-3 3Dセンシングがスポーツを変える

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.100 No.11 (2017/11) 目次へ

前の記事へ次の記事へ


fig_15.png

桝井昇一 正員 (株)富士通研究所ライフイノベーション研究所

手塚耕一 (株)富士通研究所フロントテクノロジー研究所

佐々木和雄 (株)富士通研究所ライフイノベーション研究所

Shoichi MASUI, Member, Kazuo SASAKI, Nonmember (Life Innovation Laboratories, Fujitsu Laboratories Ltd., Kawasaki-shi, 211-8588 Japan), and Koichi TEZUKA, Nonmember (Front Technologies Laboratory, Fujitsu Laboratories Ltd., Kawasaki-shi, 211-8588 Japan).

電子情報通信学会誌 Vol.100 No.11 pp.1182-1188 2017年11月

©電子情報通信学会2017

1.は じ め に

 スポーツの分野では,科学的トレーニングに裏打ちされたアスリートの技能向上や,審判員による判定の正確さや公平性に対する要求の高まりから,カメラ映像を利用して,テニスやバレーボールにおけるボールの着地位置を判定するチャレンジシステムや,サッカーのゴール判定精度を向上するビデオアシスタントレフェリー制度の運用が始まっている.こうした画像処理を中心とするICTの導入は,技術的なハードルの低い球技からスタートしているが,判定の正確さや公平性への要求が高いのは,体操を代表とする採点競技であり,そのためには複雑な人の動きを三次元で正確に数値化し,機械学習などを利用し人の動きを解析する技術(以降では3Dセンシング技術と呼ぶ)を確立しなければならない.

 図1は,3Dセンシング技術のスポーツへの応用に関する概念図を示している.アスリートにとって,3Dセンシングの過程で動きの邪魔になるマーカやセンサを装着することはできない.我々は,アスリートの三次元の動き(主要関節位置)の時系列データを取得するため,3Dレーザセンサを採用する.複数台の3Dレーザセンサの出力をデータ解析することにより,単独の審判員が見えない関節位置を数値化・視覚化し,技の動作解析結果とともに表示することで,公平な採点支援システムの実現を目指している.より高いレベルの技術習得を目指すアマチュアやジュニアレベルのアスリートに対しては,数値化した自分の動きやコーチによる見本の動きの数値データを提供することで,けがを避けながら新たな技・スキルを短期間で習得できるようにし,スランプ脱出にも貢献する.観客や視聴者といった一般の人々に対しては,演技の構成や難度をリアルタイムに表示することで,アスリートの驚異的な能力や結果に至るドラマを伝え,スポーツ自身の魅力をアピールする.3Dセンシング技術は,体操以外の採点競技への展開が可能であるばかりでなく,バスケットボールやゴルフなどの競技やフィットネスジムにおけるフォーム解析,更にはリハビリなどの運動機能回復や製造現場における作業解析などにも適用できる.

fig_1.png

 このようなスポーツへの取組みを通じて,これまでスポーツに興味を持っていなかった人々にも,正しく体を動かすことへの気付きを促し,心身の健康を願う人々の新たなつながりの機会を提供することで,地域社会の活性化も可能となろう.本稿では,体操を例にとって3Dセンシング技術を解説し,スポーツにおけるICT化とそれがもたらすスポーツ活性化の様相をまとめる.

2.体操採点支援システム

2.1 現在の体操競技採点手法

 体操競技は,男子6種目,女子4種目のそれぞれの演技において,技の難度を示すD(Difficulty)スコアと,演技の美しさを反映するE(Execution)スコアの合計により採点される(1),(2).男子を例にとると,Dスコアは,採点規則に記載された技の難度価値点(例えば,A難度であれば0.1,B難度は0.2というように,I難度まで難度のランクが1レベル上がれば得点も0.1ずつ増加する)に従って演技された10技の価値点の合計に加え,高難度の技の連続実施による組合せ加点と,10技で実施された技のグループの価値点の合計により求められる.各技は,終末技を含めて四つの技のグループに分類され,各グループに属する技の実施に0.5の加点が与えられるため,技判定の正確さはDスコアに大きく影響を与える.

 Eスコアは,10点を満点として,美しさ,実施,技術,構成上の欠点による減点を合計したものとなる.減点の対象となるのは,着地における完璧な姿勢からの逸脱,演技における膝・腕・体等の曲がりや脚の開き,静止技における完璧な姿勢からの逸脱などであり,逸脱の量や曲がり角度により,減点の量が決まっている.減点は演技の難度とは関係なく,0.1単位で算出される.

 現在,Dスコア,Eスコアの採点は,それぞれ,D審判,E審判によって独立に行われている.D審判は,選手の実施した技を,速記記号に相当するシンボルマーク(技記号)を用いてDスコアシートに記録し,演技終了後にシートに記載された結果に加点項目を加えてDスコアを決定する.E審判も同様な目視・手作業によってEスコアを算出している.

 国際審判資格を持った審判員は高い技能を備えているが,4年に1回の体操規則の変更と,演技の複雑化・高度化により,継続して正確さ・公平性を保つことが大きな負担となっている.ロンドンオリンピックの体操男子団体総合で,日本チームのDスコアが問合せによって+0.7改められた結果,順位が4位から2位に上がったことは記憶に新しいが,選手や観客に対して納得できる採点結果を遅滞なく提示するためにも,ICTを用いた採点支援システム実現への要求は高い.

2.2 採点支援システム

 図2は,体操採点支援システムの構成を示す.構成技術は,3Dセンシングを担う3Dレーザセンサ技術と,3Dレーザセンサの出力となる深度画像から主要関節の三次元位置を決定する骨格認識技術,及び,関節の三次元位置の時系列データを技のデータベースとのマッチングにより実施演技を特定する技判定技術の3点である.Dスコアは技判定結果から算出し,Eスコアは各技における完璧な姿勢からの逸脱や,膝・腕・体等の曲がりや脚の開きを関節の三次元位置から算出する.3Dレーザセンサを複数台設置して,その結果を合成することにより,単独の審判員では見えない領域を視覚化することができるようになり,機械学習を積極的に利用した骨格認識・技判定技術を利用することにより,正確で公平なDスコア,Eスコアが算出される.

fig_2.png

 採点項目については,服装違反や合図・礼などのマナー違反に関する罰則などもあり,全てを自動化することは不可能である.3Dセンシング技術により,技判定や実施・技術に関わる減点評価を行い,審判員の負担を減らす採点支援システムの構築が有効となる.以降の各章では,3Dセンシング技術を構築する3Dレーザセンサ,骨格認識,技判定の各技術の解説を行う.

3.3Dレーザセンサ技術

3.1 3Dレーザセンサの要件と構成技術

 体操競技においては,長さ1.6m,高さ1.1mの器具近傍で演技が行われるあん馬を除けば,地上約5mの高さまで演技が到達する鉄棒・つり輪や,12m四方の領域全体を使う床運動など,広域でのアスリートの3Dセンシングが必要となる.アスリートを死角なくモニタするためセンサは複数台設置されるが,競技会運営上の制約から演技領域の間近にセンサを置くことができないため,アスリートの深度画像を測定する3Dレーザセンサには,最大15mまでの距離に対応する必要がある.

 図3は,各種の深度画像取得方式を比較している.深度画像カメラとは,投射光からの反射を解析して得られる深度情報を集積化イメージセンサ(3)により取得するカメラであり,製品としてはKinectが最も有名である(4).深度画像カメラでは,高速・高分解能の深度情報を得ることができるが,5m以上の遠距離に対応することはできない.また,体操に限定せず屋外スポーツでも利用するためには,日光などの外乱光に影響されない耐光性の実現が必須である.

fig_3.png

 15m以上の遠距離で正確な深度画像を得るためには,ライダ(LIDAR: Light Detection and Ranging)技術を採用したレーザセンサが広く注目されている.ライダは,パルス照射されたレーザ光の反射を利用して,対象物との距離やその外形などの性質を分析する.ライダは,採用される投光側のスキャン方式と受光側の光学系によって,速度や分解能が変わる.スキャンにポリゴンミラーなどを用いる回転モータ形では,1ラインの走査後,次の走査まで回転待ちが発生するため,高速性の実現が困難である.この課題を克服するため,走査範囲内でのみスキャンできるMEMSミラー形が有効となる.

 スポーツ用途では,高分解能化のため従来のライダよりも走査点数を10倍以上に増やす必要があり,MEMSミラーのスキャン速度を更に高速化しなければならない.このため走査角度拡大レンズを使用してMEMSミラーを小形化する必要があるが,投受光が同軸であると,受光系にも使用されるMEMSミラーが小形化されるので,散乱の影響を受けた対象からの反射光全てを捕捉できず,光検出器での光量低下を起こす.そこで,受光量確保のため投受光を分離した光学系を採用した.

 我々の開発したMEMSミラー・投受光分離形3Dレーザセンサの構成を図4に示す(5).対象物との距離測定には,レーザパルス投射から反射光検出までの時間を測定するToF(Time-of-Flight)方式を採用している.受光量確保のために広角受光レンズを使用することにより,外乱光を拾いやすくなるという課題が存在するが,この課題の克服については,3Dレーザセンサのスポーツへの応用技術をまとめた次節で解説する.

fig_4.png

3.2 スポーツ向け3Dレーザセンサ技術

 各種スポーツにおける3Dセンシングに対応可能な3Dレーザセンサの特長技術として,耐光性の改善により屋外撮影を可能にする多分割光検出技術と,遠距離における深度画像の解像度を向上する画角調整技術を紹介する.

 前節でも述べたように,我々は走査角度拡大レンズを用いた投受光分離方式により高速性と高分解能性を同時に実現している.この場合,図5(a)に示すように受光部にも広角レンズを採用する必要があるため,そのままでは図6(a)に示した屋外での深度画像撮影結果に示すように,太陽光などの外乱光の影響を受けやすくなる.そこで,図5(b)に示すように,光検出器を分割し,MEMSミラーからの制御信号と同期して,対象物からの反射光が最も多く入射される1個の受光器のみを選択的にオンし,外乱光の影響を受けるそれ以外の受光器はオフとなるように制御する.更に,太陽光雑音の特徴を捉えた雑音低減を行うことにより,図6(b)に示すように,太陽光の影響を除去することができ,屋内だけでなく屋外での3Dセンシングが可能となる.

fig_5.png

fig_6.png

 体操競技への応用を考えた場合,演技領域の比較的小さいあん馬ではレーザセンサの設置位置と演技位置は6m程度に設定でき,高解像度の深度画像を得ることは容易である.一方,床運動では,15mの距離で得られる深度画像の解像度は低く,結果として精度高く三次元の骨格位置を求めることが困難となる.様々な競技に対応するため,3Dレーザセンサの配置位置には自由度を持たせる必要があり,幅広い距離・領域にわたって高解像度で3D解析を可能とする必要がある.このため,図7に示すように,遠距離に人が存在する場合は,MEMSミラーの制御により画角を絞り,人の解像度を近距離と同等レベルにする画角制御技術が必須となる.図8では近距離の深度画像を基準とし,遠距離において画角制御をオンオフした場合の比較を行っている.画角制御により,人の動きを近距離レベルに解像度良くセンシングできることが確認できる.

fig_7.png

fig_8.png

 これらの技術に加え,3Dレーザセンサを複数台同期して動作させることにより,1台のレーザセンサでは死角となるアスリートの陰の動きも正確に検出できるようになる.これらの技術を合わせ,判定の正確さ・公平性だけでなく,技能の習得しやすさも高められる.

4.骨格認識技術

 3Dレーザセンサが取得した深度画像から人体を構成する各関節位置を抽出する機能を果たすのが骨格認識技術である.採点支援システムでは,リアルタイム,ないし,それに匹敵する時間で,審判員の判定を支援できる高精度の三次元関節位置や関節角度を出力しなければならず,ゲーム用途などに比べて要求精度が一段と高い.3Dセンシングの要件を満たす高速・高精度骨格認識技術の概要を図9に示す.深度画像からの骨格認識は,機械学習を用いて実施されるため,学習フェーズと認識フェーズに分けることができる.

fig_9.png

 学習フェーズでは,深度画像と関節座標から成るトレーニングセットを用意し,機械学習によって予測モデルを作成する.認識フェーズでは,複数台の3Dレーザセンサから得られた多視点の深度画像を,学習フェーズで生成された予測モデルを用い,三次元関節座標の一次導出を行う.続いて,この三次元関節座標を初期値として,実際の深度画像とのフィッティングを行い,最終的な三次元関節座標を決定する.

 学習を利用した骨格認識方式は,高速ではあるが,精度が低いという課題を持つ.一方,フィッティングは,実際の3Dレーザセンサ出力に合わせて関節位置を決定できるので高精度を実現できるものの,初期値からの差が大きいと最適値までの収束に時間が掛かるという課題が存在する.両技術を合わせて骨格認識を行うことにより,高精度な三次元関節位置を,採点支援システムに要求される時間で導出することができる.

5.技 判 定 技 術

 体操競技における技判定は,図10に示す手法で実施できる.一連の運動は,骨格認識の出力である三次元関節位置の時系列データとして表現できるが,まず,解析すべき技の切れ目を認識して,基本運動要素に分解する.基本運動要素は,モデル化された動きパターンとの類似性を検出することで,体操各種目に特有の動きと認識することができる.続いて認識された基本運動要素を時系列にまとめた結果を,技判定データベースと照合し,難度価値点と直接結び付いた技判定を行う.

fig_10.png

6.ま  と  め

 3Dセンシングによるスポーツの変革の様相を図11にまとめた.3Dセンシングによって得られるデータを積極的に活用し,アスリートの技能向上を図り,同時に,観客の見る楽しさを向上して,競技のみならずスポーツを応援する人々の数も増やすことによって,アスリートの技能向上の契機とする.こうした持続性のある向上サイクルを,多くのスポーツ競技だけでなく,人の動きに関わる健康や文化的な営みにも展開し,人工知能などICT技術の活用の場を増やしていきたい.

fig_11.png

文     献

(1) 日本体操協会,採点規則 体操男子2017年版,2017.

(2) 日本体操協会,採点規則 体操女子2017年版,2017.

(3) A. Payne, A. Daniel, A, Mehta, B. Thompson, C. Bamji, D. Snow, H. Oshima, L. Prather, M. Fenton, L. Kordus, P. O’Connoer, R. McCauley, S. Nayak, S. Acharya, S. Mehta, T. Elkhatib, T. Meyer, T. O’Dwyer, T. Perry. V.-H. Chan, V. Wong, V. Mogallapu, W. Qian, and Z. Xu, “A 512x424 CMOS 3D time-of-flight image sensor with multi-frequency photo-demodulation up to 130MHz and 2GS/s ADC,” IEEE International Solid-State Circuits Conference, no.7.6, pp.134-135, San Francisco, U.S.A., Feb. 2015.

(4) J. Han, L. Shao, D. Xu, and J. Shotten, “Enhanced computer vision with microsoft kinect sensor: A review,” IEEE Trans. Cybern., vol.43, no.5, pp.1318-1334, Oct. 2013.

(5) K. Iida, T. Morikawa, T. Hano, S. Shimizu, and K. Tezuka, “Development of 3D range sensor with super-wide angle detection to observe vehicle surrounding,” 19th ITS World Congress, no.AP-00079, Vienna, Austria, Oct. 2012.

(平成29年7月19日受付)

images/fig_12.png

(ます)() (しょう)(いち) (正員)

 昭57名大・工・電気卒.昭59同大学院修士課程了.平2スタンフォード大客員研究員.平11富士通.平18東工大博士(工学).平19東北大電気通信研究所教授,平24(株)富士通研究所,現在は運動認識に関わる研究に従事.平16文部科学大臣表彰研究功績者.

images/fig_13.png

()(づか) (こう)(いち)

 昭57東大・工・精密機械卒.昭59同大学院修士課程了.同年(株)富士通研究所入社.以来,光ストレージ,光センシングシステムの光学系,機構系の研究開発に従事.現在,同社フロントテクノロジー研究所,空間デジタル化プロジェクト専任研究員.

images/fig_14.png

()()() (かず)()

 平6神戸大大学院工学研究科システム工学修士課程了.同年(株)富士通研究所入社.以来,ユビキタス端末,ネットワーク,エッジコンピューティングの研究に従事.近年,アスリートのスキル分析の研究に従事.現在,ライフイノベーション研究所所長.


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録


  

電信情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電信情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。