解説 深層学習におけるアテンション技術の最新動向

電子情報通信学会 - IEICE会誌 試し読みサイト
Vol.101 No.6 (2018/6) 目次へ

前の記事へ次の記事へ


解説

深層学習におけるアテンション技術の最新動向

Latest Trends of Attention Mechanisms in Deep Learning

西田京介 斉藤いつみ

西田京介 正員 日本電信電話株式会社NTTメディアインテリジェンス研究所

斉藤いつみ 日本電信電話株式会社NTTメディアインテリジェンス研究所

Kyosuke NISHIDA, Member and Itsumi SAITO, Nonmember (NTT Media Intelligence Laboratories, NIPPON TELEGRAPH AND TELEPHONE CORPORATION, Yokosuka-shi, 239-0847 Japan).

電子情報通信学会誌 Vol.101 No.6 pp.591-596 2018年6月

©電子情報通信学会2018

abstract

 本稿では,ニューラルネットワークの基礎的な知識を有する読者を想定し,深層学習における重要な要素技術であるアテンションについて解説する.まず,アテンションとはどのような技術かについて概要を説明した後に,アテンション技術が注目される契機となった機械翻訳と画像キャプション生成のニューラルネットワークにおける導入例を説明する.そして,最新動向として,アテンションの階層化・並列化の例や,自然言語処理分野における最新のトピックであるセルフアテンションについて紹介を行う.

キーワード:深層学習,アテンション,ニューラルネットワーク

1.は じ め に

 アテンション技術の研究は深層学習が大きな注目を集める前から行われており,主に視覚的な注意,すなわち,画像処理において画像のどの部分に着目すればよいかについて取り組まれてきた(1).その後,2014年にBahdanauらにより発表された機械翻訳におけるアテンション機構(2)がその高い精度と汎用性により大きな注目を集め,画像キャプション生成(3),音声認識(4),質問応答(5),機械読解(6)をはじめとした様々なタスクで応用されるなど,深層学習の発展に大きく貢献している.

 アテンションについて明確な定義は存在しないが,一般的には入力されたデータのうち,どの部分を重視するかを決定する手段の総称である.近年では,Bahdanauらにより導入されたメカニズムを指す場合が多い.具体的には,mathをベクトル集合,mathmathを各ベクトルに対するアテンションの分布(重み;math)としたとき,式(1)のようにmathの重み付総和であるコンテキストベクトルmathを出力する単純な計算処理である.

math

(1)

ここで,ベクトルmathに対するアテンションの重みmathは,

math

(2)

のように,ベクトルmathとクエリmathを引数とするスコア関数mathの値に基づいて計算される.mathの表現やmathの計算方法はタスクやネットワークにより異なるが,式(1),(2)は多くの研究で共通である.

 アテンションが大きな注目を集めたのは,ニューラルネットワークにおいて入出力間の関係性を学習するにあたり,入力データを一つの固定長のベクトル表現に変換することなく,可変長のデータ全体を保持したまま入力データの各要素と出力データとの関係性を学習することを可能にしたためである.アテンションはテキストをはじめとした系列データを扱う再帰的ニューラルネットワーク(RNN)への導入について盛んに研究が行われているが,系列データ以外にも利用可能な汎用的な技術である.


続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。 また、会員になると豊富な豪華特典が付いてきます。


続きを読む(PDF)   バックナンバーを購入する    入会登録


  

電信情報通信学会 - IEICE会誌はモバイルでお読みいただけます。

電子情報通信学会誌 会誌アプリのお知らせ

電信情報通信学会 - IEICE会誌アプリをダウンロード

  Google Play で手に入れよう

本サイトでは会誌記事の一部を試し読み用として提供しています。