電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
解説
ロスレスAI
――量子化前後の推論結果同一性を担保した組込みAI――
Lossless AI: Toward Guaranteeing Consistency between Inferences Before and After Quantization
A bstract
計算リソースの限られるエッジデバイスを用いて実時間で認識処理を行うためには,ディープラーニング認識モデルの軽量化が必要である.しかし,従来の軽量化手法は認識精度劣化の抑制にのみ着目しており,たとえ精度劣化が小さくても,個々のサンプル単位で見ると軽量化前後で認識結果が変化することがある.こうした変化は,軽量化前に想定していなかった挙動を招き,製品の品質保証にとって重大な課題となり得る.そこで本稿では,軽量化前後で推論結果の同一性を担保する「ロスレスAI」技術を紹介する.
キーワード:量子化,知識蒸留,エッジ,深層学習
ディープラーニングは,物体認識や検出,顔認証,翻訳など様々な認識タスクに広く用いられている(1).実時間でこれらの認識処理を完了するためには,クラウドではなく,監視カメラやマイクシステムなどに搭載されるエッジデバイスで認識処理を行うことが有効である.エッジデバイスはメモリや処理能力などの計算リソースが限られるため,高性能な計算機で学習された浮動小数点モデル(レファレンスモデル)を軽量化する必要がある.
軽量化手法は,モデルのパラメータ数を減らす枝刈りや,パラメータを浮動小数点(Floating Point 32bit: FP32)から固定小数点(Integer 8bit: Int8)表現に変換してビット数を減らす量子化などがある(2).これらの手法は軽量化前後の認識精度劣化を抑えることを目指して研究が行われている.しかし,たとえ軽量化モデルがレファレンスモデルと同等の認識精度であっても,個々のサンプル単位の推論結果は軽量化前後で変化する場合がある.例えば図1に示す車と人の検出イメージにおいて,従来手法による軽量化モデルはレファレンスモデルと同じく画像中で4台の車を検出できているが,検出できている車はレファレンスモデルと異なる.すなわち,個々の車に対する推論結果は変化しており,結果的にこの画像サンプルに対する軽量化前後のモデルの挙動は異なる.
このような軽量化によるモデルの挙動の変化は,開発コストの観点で重大な課題となり得る.例えば,学習時に想定していたレファレンスモデルの挙動が軽量化によって変化し,想定外の劣化課題が発生することで,エッジデバイスで要求仕様を満たさなくなる可能性がある.また,こうした劣化課題への対策として追加の学習や評価などの手戻りが発生する.更に,対策によって劣化課題を改善できたとしても,モデルの挙動が変化することで別のサンプルの推論結果に影響を及ぼす可能性があるなど,実用化に向けた品質保証が困難となる.以上の問題は,先進運転支援システム(ADAS)などの車載機器や,製造現場向けをはじめとするロボティクスにおける認識といった,特に厳しい品質水準が求められる応用において問題となると考えられる.
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード