解説 ロスレスAI――量子化前後の推論結果同一性を担保した組込みAI――

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.106 No.10 (2023/10) 目次へ

前の記事へ次の記事へ


 解説 

ロスレスAI

――量子化前後の推論結果同一性を担保した組込みAI――

Lossless AI: Toward Guaranteeing Consistency between Inferences Before and After Quantization

奥野智行 中田洋平 石井育規 築澤宗太郎

奥野智行 パナソニックホールディングス株式会社テクノロジー本部

中田洋平 パナソニックホールディングス株式会社テクノロジー本部

石井育規 正員 パナソニックホールディングス株式会社テクノロジー本部

築澤宗太郎 パナソニックオートモーティブシステムズ株式会社開発本部

Tomoyuki OKUNO, Yohei NAKATA, Nonmembers, Yasunori ISHII, Member (Technology Division, Panasonic Holdings Corporation, Kadoma-shi, 571-8508 Japan), and Sotaro TSUKIZAWA, Nonmember (R & D Division, Panasonic Automotive Systems Co., Ltd., Kadoma-shi, 571-8508 Japan).

電子情報通信学会誌 Vol.106 No.10 pp.929-934 2023年10月

©電子情報通信学会2023

A bstract

 計算リソースの限られるエッジデバイスを用いて実時間で認識処理を行うためには,ディープラーニング認識モデルの軽量化が必要である.しかし,従来の軽量化手法は認識精度劣化の抑制にのみ着目しており,たとえ精度劣化が小さくても,個々のサンプル単位で見ると軽量化前後で認識結果が変化することがある.こうした変化は,軽量化前に想定していなかった挙動を招き,製品の品質保証にとって重大な課題となり得る.そこで本稿では,軽量化前後で推論結果の同一性を担保する「ロスレスAI」技術を紹介する.

キーワード:量子化,知識蒸留,エッジ,深層学習

1.は じ め に

 ディープラーニングは,物体認識や検出,顔認証,翻訳など様々な認識タスクに広く用いられている(1).実時間でこれらの認識処理を完了するためには,クラウドではなく,監視カメラやマイクシステムなどに搭載されるエッジデバイスで認識処理を行うことが有効である.エッジデバイスはメモリや処理能力などの計算リソースが限られるため,高性能な計算機で学習された浮動小数点モデル(レファレンスモデル)を軽量化する必要がある.

 軽量化手法は,モデルのパラメータ数を減らす枝刈りや,パラメータを浮動小数点(Floating Point 32bit: FP32)から固定小数点(Integer 8bit: Int8)表現に変換してビット数を減らす量子化などがある(2).これらの手法は軽量化前後の認識精度劣化を抑えることを目指して研究が行われている.しかし,たとえ軽量化モデルがレファレンスモデルと同等の認識精度であっても,個々のサンプル単位の推論結果は軽量化前後で変化する場合がある.例えば図1に示す車と人の検出イメージにおいて,従来手法による軽量化モデルはレファレンスモデルと同じく画像中で4台の車を検出できているが,検出できている車はレファレンスモデルと異なる.すなわち,個々の車に対する推論結果は変化しており,結果的にこの画像サンプルに対する軽量化前後のモデルの挙動は異なる.

図1 従来手法とロスレスAIの軽量化モデル車と人の検出イメージ  従来手法による軽量化モデルはレファレンスモデルと同じく画像中で4台の車を検出しているが,黄破線で囲まれた車の推論結果が変化している.

 このような軽量化によるモデルの挙動の変化は,開発コストの観点で重大な課題となり得る.例えば,学習時に想定していたレファレンスモデルの挙動が軽量化によって変化し,想定外の劣化課題が発生することで,エッジデバイスで要求仕様を満たさなくなる可能性がある.また,こうした劣化課題への対策として追加の学習や評価などの手戻りが発生する.更に,対策によって劣化課題を改善できたとしても,モデルの挙動が変化することで別のサンプルの推論結果に影響を及ぼす可能性があるなど,実用化に向けた品質保証が困難となる.以上の問題は,先進運転支援システム(ADAS)などの車載機器や,製造現場向けをはじめとするロボティクスにおける認識といった,特に厳しい品質水準が求められる応用において問題となると考えられる.


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録

  

電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電子情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。