1．は　じ　め　に

　アテンション技術の研究は深層学習が大きな注目を集める前から行われており，主に視覚的な注意，すなわち，画像処理において画像のどの部分に着目すればよいかについて取り組まれてきた⁽¹⁾．その後，2014年にBahdanauらにより発表された機械翻訳におけるアテンション機構⁽²⁾がその高い精度と汎用性により大きな注目を集め，画像キャプション生成⁽³⁾，音声認識⁽⁴⁾，質問応答⁽⁵⁾，機械読解⁽⁶⁾をはじめとした様々なタスクで応用されるなど，深層学習の発展に大きく貢献している．

　アテンションについて明確な定義は存在しないが，一般的には入力されたデータのうち，どの部分を重視するかを決定する手段の総称である．近年では，Bahdanauらにより導入されたメカニズムを指す場合が多い．具体的には，をベクトル集合，を各ベクトルに対するアテンションの分布（重み；）としたとき，式(１)のようにの重み付総和であるコンテキストベクトルを出力する単純な計算処理である．

ここで，ベクトルに対するアテンションの重みは，

のように，ベクトルとクエリを引数とするスコア関数の値に基づいて計算される．の表現やの計算方法はタスクやネットワークにより異なるが，式(１)，(２)は多くの研究で共通である．

　アテンションが大きな注目を集めたのは，ニューラルネットワークにおいて入出力間の関係性を学習するにあたり，入力データを一つの固定長のベクトル表現に変換することなく，可変長のデータ全体を保持したまま入力データの各要素と出力データとの関係性を学習することを可能にしたためである．アテンションはテキストをはじめとした系列データを扱う再帰的ニューラルネットワーク（RNN）への導入について盛んに研究が行われているが，系列データ以外にも利用可能な汎用的な技術である．