1．は　じ　め　に

　2012年にAlexNet，要するに畳込みニューラルネットワーク（CNN: Convolutional Neural Network）が画像認識におけるブレークスルーをもたらしてから，ちょうど10年になる．筆者は独断と偏見で，直近の深層学習分野における事件が4回起きているとみなしている．最初は，2011年に電話音声認識で深層ニューラルネットワーク（DNN: Deep Neural Network）が，音声認識の精度をそれまでの改善の道のりから非連続に押し上げたというものである．次が2012年，冒頭に述べたCNNによる画像認識である．三つ目が2014年，再帰ニューラルネットワーク（RNN: Recurrent Neural Network）によるシンプルな機械翻訳が，それまで最高精度を誇っていた複雑な機械翻訳システムと同じような精度を達成したというものである．そして四つ目が2017年，自己注意（self-attention）と全結合層を組み合わせたTransformerによる機械翻訳の更なる精度向上である．

　このように，各事件は音声認識や画像認識，機械翻訳といった各情報処理分野における重要かつ長年取組みのある研究課題の中で生じている．深層学習の恩恵は，このように各モダリティの情報処理の精度を大きく飛躍させたことでもあるが，もう一つの恩恵も特筆するべきであろう．各分野での最先端の手法が全て深層学習に置き換わり，CNNやRNNは画像や自然言語（そして音声）全てに活用され始め，近隣だが異分野だったこれらの情報処理分野の共通言語となった．このように，深層学習によって，異なるモダリティを扱う諸問題同士を融合させるハードルが大きく緩和されたことも，深層学習のもう一つの恩恵と言える．

　本稿では，こうしたマルチモーダル／クロスモーダルなデータ理解を実現する機械学習とその応用技術の中でも，比較的長く取り組まれてきている画像と自然言語の融合理解分野について概説する．この分野はビジョン＆ランゲージ（vision and language）と呼ばれ，コンピュータビジョン分野と自然言語処理分野それぞれで融合分野として認知されている．筆者はこれまでも，日本語の書籍や記事としてビジョン＆ランゲージについて紹介してきた．辛うじて全ての論文を追えた時期は一瞬で終わり，今では膨大な数の論文が国際会議やプレプリントサーバを通じて発表されている．紙幅の制約もあるので，本稿では，特に近年の更なる発達についてのフォローを中心とした解説を進めたい．