電子情報通信学会 - IEICE会誌 試し読みサイト
© Copyright IEICE. All rights reserved.
|
解説
分布外検知の概要と学習可能性の観点からの理解に向けて
Out of Distribution Detection and Its Learnability
A bstract
分布外検知とは,機械学習において,モデルのテスト時に訓練データとは異なる分布に従うデータがテストデータとして提示される可能性があるとき,それを適切に検出する問題である.本稿では,まず分布外検知問題の概要を説明し,厳密な定式化を与える.次に,OOD検知の主要な方法の一つであるソフトマックススコアに基づくアプローチを解説する.最後に,OOD検知の理論研究の一つである学習可能性について解説する.
キーワード:分布外検知,分布シフト,学習可能性,不可能性定理
従来の機械学習モデルは,一般に学習データとテストデータが独立同一分布に従って得られている(i.i.d: independent and identically distributed)ことを仮定する.しかし,現実の問題では,学習に用いられていない種類のデータがテスト事例として提示されるなど,i.i.dの仮定が成り立たない場合がしばしばある.このような状況は分布シフト(distribution shift)あるいはデータセットシフト(dataset shift)などと呼ばれ,特別な工夫なしで学習したモデルの性能を担保することは難しい(1),(2).
特定の異なる分布からのデータがテスト事例である場合,ドメイン適応(domain adaptation)と呼ばれる様々な技術によって,訓練データとテストデータの分布のずれを補正し,適切なモデルを学習させることができる.例えば,重要度重み付き学習(importance weighted learning)(3)では,データ分布のずれを分布間の確率密度比によって評価し,これを各訓練事例に対する重みとして学習時に利用する.テスト分布からのかい離が大きい訓練事例は,学習に寄与しないように重みが小さくなり,かい離の小さい訓練事例はより学習に寄与するように大きな重みが与えられる.ドメイン適応では,基本的にテスト事例の入力データは与えられていることを前提とする.以上のような,異なる分布に従うデータを用いて機械学習を行うための方法論は,転移学習(transfer learning)という広範なフレームワークのサブカテゴリーと捉えることができる.転移学習では,訓練データとテストデータといった形で,どのデータが異なる分布から得られているかが既知である状況を扱うことが多い.
一方,機械学習システムの信頼性や安全性という観点からは,素性の分からないデータが提示されたとき,それを既知の訓練データと同様に処理してよいのか,あるいは未知データとして別途処理するべきなのか,という判断をしなければならない場面も多い.例えば,自動運転では,訓練中に見たことのない異常なシーンや物体を検知し,安全な判断ができなくなった場合には運転システムがアラートを発し,人間に制御を引き継げることが望ましい.これは,提示されたデータが既知の訓練データと同じ分布からのサンプルなのか,異なる分布からのサンプルなのかを判定する問題として定式化することができる.このような問題を分布外検知(Out Of Distribution detection,OOD検知)と呼ぶ(4),(5).本稿では,特に多クラス分類問題を例にOOD検知の定式化と既存の方法を説明する.また,OOD検知の学習可能性に関する理論的な研究(6)も紹介する.
続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。
電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。
電子情報通信学会 - IEICE会誌アプリをダウンロード