1．ま　え　が　き

　自然言語処理は，言葉を理解して操ることができるコンピュータの実現を目指す研究分野である．ある言語の文章を別の言語に翻訳する機械翻訳，自然言語で与えられた質問に答える質問応答，人間との間で会話を行う対話エージェント，与えられた文章の情報を集約する自動要約，与えられた文章をカテゴリー分けする文書分類など，広範囲な応用がある．

　自然言語処理の応用の多くは，単語から成る入力が与えられ，単語から成る出力を返すシステムとして定式化できる．ここで，は出力の単語若しくはラベルの集合である．機械学習に基づく自然言語処理では，入力に対する出力の「良さ」を条件付き確率でモデル化し，が最も高くなる出力を探索する．例えば，に固定し，をカテゴリーラベルの集合とすると，文書分類タスクとなる．に固定し，を品詞ラベルの集合とすると，品詞タグ付け（単語の品詞を推定する）タスクとなる．を日本語の単語列，を英語の全単語の集合とし，が可変であることを許すと，日本語から英語への機械翻訳となる．

　自然言語処理のタスクをこのように定式化した場合，研究開発の要点はのモデル化との探索問題の二つである．前者は雑音のある通信路モデルや最大エントロピー法，条件付確率場，後者は動的計画法（例：ビタビアルゴリズム）や近似探索法（例：ビーム探索）などが用いられてきた．深層学習に基づく自然言語処理では，のモデル化に深層ニューラルネットワーク（DNN: Deep Neural Network）を用いる．

2．深層学習の導入と発展