|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
|
|
電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
ミリ波・テラヘルツ技術は未来のセンシングを変えるか？
小特集 1.
インビジブルセンシング
――高速レーダ画像生成及びAI画像認識によるウォークスルーセキュリティ検査――
Invisible Sensing: Walk-through Security Screening by High-speed Radar Imaging and AI-based Recognition
Abstract
電波を利用したセンシング技術・イメージング技術の実応用に向けた開発事例として，ウォークスルーセキュリティ検査システムとその技術を紹介する．マイクロ波の透過性を利用して，手荷物や衣服下に隠された危険物を画像化し，画像中の特徴量からAIにより危険物を検知するシステムである．高速レーダ画像生成・移動補償技術，レーダ画像中の形状特徴量に基づく拳銃・刃物検知技術と人体の影領域特徴量に基づく爆発物検知技術を開発して実機実装し，実環境での危険物検知性能と高スループット，利用者の利便性の両立を実現した．
キーワード：インビジブルセンシング，レーダ画像，画像認識，ウォークスルー，セキュリティ検査
人々が安心・安全に暮らせる社会の実現や，利便性と人手不足の解消にもつながるスマートシティ化の流れの中で，公共施設などのセキュリティ確保は大きな社会課題である．特に空港や駅など公共交通機関や多数の人が集まる施設では，セキュリティ強化が求められている．一般的なセキュリティ対策としては監視カメラが既に普及しているが，これは可視領域での認識に限定される．一方，安全性と利便性を両立したセキュリティ対策としては，手荷物の中や衣服の下に隠された危険物の検知など，非可視領域の認識が求められる．この用途に電波の透過性を利用したセンシング技術が注目され，空港などでは図1（左）に示すような静止型ボディスキャナが導入されている．ボディスキャナは電波の透過性により衣服下に隠された危険物を検知するが，現行の装置では立ち止まって一人ずつ検査するためにスループットが低く，検査待ちの列が生じる．また，検査時にはポケット内の小物を取り出したり，検査装置の中で所定のポーズをとらされたりするなどの検査協力が求められ，利用者の負担を伴う．このため，都市部など多くの人が利用する場所（鉄道，学校，商業施設，スタジアム，アミューズメントパークなど）では，現行装置は不向きであり，高スループットで人の流れを止めず利用者に負担のないセキュリティ対策が望まれる．
NECでは，利用者の動きを止めることなく手荷物の中や衣服下に隠された危険物を非接触で検知するインビジブルセンシング技術（IVS: Invisible Sensing）の研究開発に取り組んできた（図1（右））(1)．これは，マイクロ波レーダを用いて，電波の透過性により手荷物の中や衣服下の危険物をレーダ画像を生成し，レーダ画像中の危険物の特徴量を学習して検知するソリューションである．本稿では，NECが開発したIVSによるウォークスルーセキュリティ検査システム（以下，IVSシステム）及び主要技術(2),(3)を紹介する．
対象とする施設のセキュリティ対策では，多数の利用者の動線のほとんどが流動的であることを考慮する必要がある．このため，「人が多く通る場所で，人の流れを止めずに，非接触で人手をかけない」セキュリティ検査が求められる．このような場面でのセキュリティ検査システムに求められる主要な機能要件と，IVSシステムにおける実現手段と仕様を表1に示す．
IVSシステムにおけるレーダの仕様決定に際しては，高スループットとウォークスルー性を重視した．全身撮像を可能とするためにレーダは多数の送信アンテナ（Tx）と多数の受信アンテナ（Rx）から成るMultiple-Input and Multiple-Output（MIMO）構成とし，開口を1m×1mのサイズとした．実際には人の身長をカバーするには高さ方向にもう少し伸張する必要があるが，試作機は原理確認を目的として，肩から膝下までの範囲を検査できるものとした．また，被験者に立ち止まらせないための処理単位として，1画像フレームのレーダ計測，画像生成，物体認識処理を100ms以内とした．被験者が検査システムを歩行通過する間に8～10画像フレームの検査が可能となる処理速度である．また，レーダの周波数及び帯域幅はハイバンドのUWB規格に沿うものとし，アンテナ配置は1センサパネル当りTx 198素子，Rx 198素子を1m四方にMIMOアレーを構成するよう配置した．テラヘルツ波やミリ波よりも波長の長いマイクロ波を用いることで，センシング領域当りの必要アンテナ素子数を削減し，スキャン時間を短縮することで対象物の移動に対する耐性を高め，高速処理を可能とし，ウォークスルー検査を実現した．アンテナ素子数削減は，コスト低減にも大きく寄与する．より高い周波数帯，より広い帯域幅のレーダを用いることで高解像化が可能であるが，先述のとおりIVSシステムはウォークスルー性を重視し，レーダ画像が視認できる品質と高速性を最優先とし，検出機能はAI/MLの活用により性能向上を図る方針とした．
IVSシステムの外観を図2に示す．マイクロ波レーダを備えた2枚のセンサパネルを対向設置して検査領域（ゲート）を形成し，パネル間を通過する人のレーダ画像を生成し，手荷物や衣服下などに隠された危険物をリアルタイムで検知する．IVSシステムの機能的・技術的特長は次のとおりである．
・通行者の位置変化を利用したウォークスルー全身検査
・歩行速度に対応するビデオレートでの高速イメージング（10fps/パネル）
・通行中の撮像ぶれを抑制する移動補償技術
・小形刃物などの危険物を日用品と区別して検知可能なAI検知技術
なお，開発したIVSシステム試作機は，日本国内の技術基準適合証明（7.28～10.23GHz）を取得している．この周波数仕様は米国FCC規格の基準を満たしているほか，アジア各国でも参照される欧州規格（6.0～8.5GHz）への動作周波数帯域の変更も可能である．
IVSシステムは，ゲートを形成するセンサパネル間を人が通過する間に，センサと人の位置関係が変化していくことを利用して計測を行う．図3に示すように，ゲートの入口側で検査対象者の前面を，ゲート内で左右両側面を，出口側で背面をスキャンする．これにより，IVSゲートを通過する間に全身（全周）のウォークスルー検査が可能になる．
図4にIVSシステムの機能ブロック構成を示す．システムは主パネルと従パネルで構成され，両パネルは同期して次の処理手順に従って連携動作する．
①各パネルのレーダセンサからマイクロ波を照射し，被験者からの反射波を受信
②受信信号に基づき移動補償及びイメージング処理
③レーダ画像を入力としたフレーム単位の危険物検出処理
④被験者がセンシング領域を通過する間に計測した複数の検出結果③に基づいて，当該被験者の危険物所持有無を検知判定
主パネルと従パネルは，互いの電波が干渉しないよう，100ms間隔のスロットで交互に時分割照射する．各パネルにおいて，処理①～③は1スロット内にパイプライン処理で更新し，10fps動作を実現した．処理④では両パネルでのフレーム単位の検出結果が主センサパネルに集約され，危険物検査の最終検知判定結果を出力する．
IVSシステムは，レーダにより得られる反射波を解析して物体形状を結像するイメージング処理を高速で実現している．前述のとおり，1パネル当りTx 198
Rx 198素子のMIMOアレー構成であり，各パネルの各Txは干渉しないよう1素子ずつ順に照射し，対象物からの反射波の受信は両パネルの全Rxで同時に行う．送信波は，周波数が時間とともに段階的に変化するStepped Frequency Continuous Wave（SFCW）である．
全Rxは，各Tx・各周波数の反射波の複素振幅（振幅
と送信波との位相差
から成る複素数
exp（
））を取得し，これをレーダ信号として扱う．イメージング手法については，レーダ信号を周波数領域で扱うことで高速処理が可能なMIMO Range Migration Algorithm（RMA）を応用し，更にGPUに適した高速化処理を施し実装した．
ウォークスルー検査を実現するにはレーダの高速処理に加え，対象物の移動に起因する撮像ぶれの抑制が重要である．そこで，レーダ信号から対象物の移動量を推定し，これをMIMO RMAに適用して移動量を補償するイメージング手法を開発し，撮像ぶれを抑制した(2),(4)．
図5に開発した移動補償処理を適用した高速レーダイメージングの実測例を示す．上段は，拳銃（モデルガン）を手荷物の中に隠し持つ被験者が早歩き（1.5m/s）でIVSゲートを通行した際の被験者側面のレーダ画像を示しており，従来のレーダ画像（左）では歩行による撮像ぶれが生じているのに対して，本移動補償技術を適用すると撮像ぶれが抑制され明瞭なレーダ画像（右）が得られることが確認できる．図5の下段は，拳銃を腹部に隠し持つ被験者が，IVSゲートに進入した際の被験者前面のレーダ画像を示しており，同様に本移動補償技術の適用効果が確認できる．
IVSシステムでは，レーダ信号を処理して得られた左右両側面及び前背面のレーダ画像を入力として，AIによる高速・高精度物体検知を行う．IVSシステムのレーダ画像データは，側面画像が119
119
69のサイズ，前背面画像が90
100
50のサイズを持つ三次元の複素数から成り，この大量のデータをリアルタイム処理するため，情報圧縮手法を開発した(5)．
三次元複素レーダ画像から，側面については，レーダセンサ配置面に対して直交方向のデータから反射強度（振幅）が最大となる複素数の値のみを選ぶことで情報を圧縮し，二次元複素数のレーダ画像を得る．同様に，前背面はレーダセンサ配置面と並行方向に情報圧縮し，二次元レーダ画像を得る．データ各画素の複素数を振幅と位相に分けて色空間に変換し，RGB画像を生成する．これを入力とすることで，標準的な畳込みニューラルネットワーク（CNN: Convolutional Neural Network）の適用が可能となる．このように，複素情報を維持したまま圧縮することにより，高い検出精度とリアルタイム処理を実現した．
処理時間は，情報圧縮手法を用いることで，GeForce GTX1080Ti上で100ms以下を実現した．これは，元の三次元レーダ画像を用いた場合に比べて，検出性能を維持したまま約6倍高速化されたものである．
IVSシステムは，検知対象とする危険物の代表例として拳銃，刃物，爆発物を学習させたAI検知エンジンを開発，実装した．拳銃や刃物はマイクロ波に対する反射率が高いため，レーダ画像中に明瞭な像を得る．また，拳銃や刃物は形状がある程度特定されるため，レーダ画像中の形状を特徴として学習して検知する．
一方，爆発物の多くはマイクロ波に対する反射率が人体に比べて極めて低いため，レーダ画像中では人体を背景にした影（空白）となる．また爆発物は形状が不定の場合もあるため，形状を特徴とした検知は困難である．そこで，レーダ画像中の人体を背景とした影領域の特徴を学習し，形状不定の爆発物等を検知する手法を開発した(3)．図6にIVSシステムで撮像した模擬爆発物を所持した歩行者と所持しない歩行者のレーダ画像の例を示す．このように，爆発物は人体の影領域として見ることができ，爆発物のラベルだけでなく対象爆発物の影の特徴を含む人体ラベルを学習することで，爆発物検知エンジンを実現した．
IVSシステムの実際の動作例として，側面からスキャンした際の様子を図7に示す．拳銃を手荷物の中に隠し持つ被験者が，IVSゲートを歩行通過した際の100msごとの連続撮像を並べて表示しており，危険物として自動検出した箇所を四角枠で表示している．
また，IVSシステムのデモ用に開発した画面表示を図8に示す．画面上部には，IVSゲートを通過する被験者のレーダ画像（前面，左側面，右側面，背面）を選択して動画表示でき，また検査時の様子をレーダセンサ面に内蔵したカメラ画像と対応付けて表示可能である．この際のレーダ画像は，被験者プライバシーに配慮し，検出した危険物箇所以外の領域は不鮮明化して表示される．画面最上部の帯には被験者ごとのセキュリティ検査結果表示部を設けており，危険物を検知した場合には“Detected”，不検知の場合には“Pass”が表示される．また，IVSシステムの入口側に内蔵したカメラで，被験者がセンシング領域に入る際に撮影した画像を表示し，検査結果との対応付けが可能である．
最後に，IVSシステムの実機評価例を示す．複数の被験者に対して異なる複数の拳銃（モデルガン）を対象物として衣服下あるいは手荷物の中に隠して実験を行った．画像単位の全身検査として検出率（Recall）90～95%，誤検出率（False Alarm）1～5%を確認した．爆発物については，未だ調整余地があるものの，画像単位の全身検査として誤検出率を10%と仮定した場合の検出率92%を確認した．これらは，設置場所や運用者のポリシーに応じて検出しきい値設定を変更することにより，柔軟な対応が可能となっている．
利用者の動きを止めることなく，手荷物や衣服下に隠された危険物を検知するIVSウォークスルーセキュリティ検査システムを紹介した．本システムは，高スループットと利用者の利便性，また特定の危険物を日用品と区別して検知する機能を実現しており，都市部の施設でのセキュリティ強化策の一つとして有効である．
なお，誌面の都合上，紹介しきれなかった技術の詳細に関しては，下記の文献を参照されたい．
(１) 有吉正行，小倉一峰，野村俊之，森本伸一，本條 翔“インビジブルセンシング技術によるウォークスルーセキュリティ検査，”NEC技報，vol.74, no.1, pp.98-103, Aug. 2021．
(２) M. Ariyoshi, K. Ogura, T. Sumiya, N. Khan, S. Yamanouchi, and T. Nomura, “Practical implementation of motion-robust radar imaging and whole-body weapon detection for walk-through security screening,” IEICE Trans. Commun., vol.E106-B, no.11, pp.1244-1255, Nov. 2023.
(３) S. Yamanouchi, M. Ariyoshi, and T. Nomura, “Explosives detection using shadow features in radar images for walk-through security screening,” IEICE Commun. Express, vol.14, no.2, pp.71-74, Feb. 2025.
(４) T. Sumiya, K. Ogura, S. Yamanouchi, N. Khan, M. Ariyoshi, and T. Nomura, “Motion blur suppression accommodating to fast radar imaging for walk-through concealed weapon detection,” IEEE Radar Conference, Online, Sept. 2020.
(５) N. Kham, K. Ogura, E. Cosatto, and M. Ariyoshi, “Real-time concealed weapon detection on 3D radar images for walk-through screening system,” IEEE/CVF Winter Conference on Applications of Computer Vision (WACV2023), Hawaii, USA, Jan. 2023.
（2025年5月30日受付）
オープンアクセス以外の記事を読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード
