Vol.106 No.12 (2023/12)　目次へ

そのとき研究の歴史が動いた――画像認識の発展の歴史を振り返って――

小特集 7.

カーネル法のそのとき

The “Moment” of the Kernel Method

前田英作

前田英作　正員：フェロー　東京電機大学システムデザイン工学研究科情報システム工学専攻

Eisaku MAEDA, Fellow（Graduate School of System Design and Technology, Tokyo Denki University, Tokyo, 120-8551 Japan).

電子情報通信学会誌　Vol.106 No.12 pp.1100-1106 2023年12月

©電子情報通信学会2023

Abstract

　ベクトル間の内積を利用して効率的な非線形演算を実現するカーネル法は，1990年代後半におけるサポートベクトルマシン（SVM）の普及とともに広く知られるようになり，その後，様々な形で利用されるようになった．SVMの発案からカーネル法の普及に至るカーネル法の「そのとき」，そのアイデアの源流である「その前」，そしてその後の展開である「それから」について触れてみたい．

キーワード：サポートベクトルマシン，カーネル法，機械学習，多様体学習

1．は　じ　め　に

　1998年4月，筆者は7年ほど離れていた情報分野の研究開発に復帰し，次に手がけるべき研究課題を模索していた．サポートベクトルマシン（以下，SVM）⁽¹⁾^,⁽²⁾が米国で話題になっているらしい，との話を聞き，Burgesによる解説（文献(３)のpreprint版）を見つけ，読んだのである．後から振り返ってみると，このときがまさにカーネル法の「そのとき」であった．日本においてSVMやカーネル法に関連した研究発表⁽⁴⁾^～⁽⁷⁾が現れるのは，その年の6月以降のことである．カーネル法をはじめとするSVMの基本的なアイデア，そして，その数学的構造の美しさに深い感動を覚えたことは今でも記憶に新しい．そして当時，次のような問いが私の頭をよぎっていた．①このようなアイデアを誰がいつどのような経緯で考えついたのか，その着想の原点はどこにあるのか．②SVMの基本的な論文が発表されたのが1992年．世界中の注目を集めるまでに5年を要しているのはなぜか，の2点である．

　SVMは多くの実証的研究と高速化の工夫により強力な機械学習法であることが明らかになり⁽⁸⁾^,⁽⁹⁾，それとともに，カーネル法も線形アルゴリズムを非線形化する一つのテクニックとして研究者の関心を呼び，“kernel trick”と呼ばれた．そしてSVMの普及を契機として，自然言語など構造化データに対する統計機械学習の適用⁽¹⁰⁾^,⁽¹¹⁾，伝統的な多変量解析における非線形手法の導入⁽¹²⁾^～⁽¹⁴⁾，多様体学習と総称される技術の創案⁽¹⁵⁾などの波及効果をもたらした．

　こうした新しいアイデアの発明には必ずその背景に確固とした知的文脈がある．また，発明の普及は研究者によるしかるべき取組みに裏打ちされている．本稿では，そのような視点に立ってカーネル法に関わる研究の流れを俯瞰することを試みる．それはまた，基礎基盤研究の推進体制を考える上で多くの示唆を与えてくれるのである．

2．SVMとカーネル法

　SVMは2クラス分類のための機械学習手法として提案され，マージン最大化とカーネル法を組み合わせることにより，汎化性能の高い非線形識別を実現したものである⁽¹⁾^,⁽²⁾．当初，原空間若しくはカーネル法を利用した非線形写像による変換後の空間において，2クラスのパターンが線形分離可能であることが求解の条件であったが，これにソフトマージンという概念を導入して線形分離不可能なパターンにも適用できるように改良された⁽¹⁶⁾．マージン最大化，カーネル法，ソフトマージンという三つのアイデアを組み合わせることにより，クラス分類のための汎用的機械学習手法として確立されたのがSVMである．以下，まず，その技術の骨子をまとめておく．式の導出など詳細については拙著⁽¹⁷⁾などを参照されたい．

続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。また、会員になると豊富な豪華特典が付いてきます。

続きを読む(PDF)　　　バックナンバーを購入する　　　　入会登録

電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌会誌アプリのお知らせ

電子情報通信学会 - IEICE会誌アプリをダウンロード

小特集 7. カーネル法のそのとき

1．は じ め に

2．SVMとカーネル法

1．は　じ　め　に