1．ま　え　が　き

　昨今の深層学習技術の進展により，実サービス向けの言語処理システムの中でも至る所に深層学習が使われるようになった．筆者が企業で言語処理システムに関わり始めたのは2010年頃だが，その頃にニューラルネットワークを商用製品・サービスに導入するという発想は余りなかったと記憶している．実際，言語処理分野の著名な国際会議ACL（Annual Meeting of the Association for Computational Linguistics）の論文を確認してみても，2010年の段階ではタイトルに“neural”を含む論文は1件もない状況であった．ちなみに2021年現在では，タイトルに“neural”を含む論文だけで100件以上あり，深層学習を使っていない論文を探す方が難しいほどの隆盛ぶりとなっている．

　言語処理における一つの転換点は，2013年に発表されたword2vecツール⁽¹⁾にあるだろう．このツールは大量のラベルなしテキストを用意するだけで，分散表現と呼ばれる固定次元の密ベクトルに単語を変換するモデルを学習できる．例えば，単語の分散表現をで表すことにすると，算術演算でがおおむね成り立つという直感的で面白い性質がある．この分散表現自体は万能に意味を表せるというものではないが，「簡単に試せて結果が面白い」というのは応用の世界では強力で，言語処理以外にも様々な分野で分散表現が使われるようになった．その後の深層学習の発展は目覚ましく，2014年頃のSeq2Seq（sequence to sequence）モデル⁽²⁾や注意機構（attention mechanism）⁽³⁾の提案で，テキスト生成モデルを簡単に作れるようになり，10年前なら二の足を踏むような難しいタスクに取り組めるようになった．2017年頃のTransformer⁽⁴⁾ ，BERT⁽⁵⁾ ，GPT-2⁽⁶⁾といった更に性能の高いモデルの登場以降は，実応用においても深層学習抜きに語れない時代となっている．

　本稿では，このような深層学習技術の進展の恩恵を受けた応用事例として2．でニュース見出しの候補生成，3．でニュースコメントのランキングを紹介する．前者はテキスト生成タスクであり，深層学習以前は既存の応用事例が少なく実現のハードルが高かった事例である．後者は検索分野と同様のランキングタスクであり，非深層学習による初期実装を深層学習を用いて大幅に精度向上させた例である．これら二つの事例は主に深層学習モデルの高い精度を示しているが，実践的観点からは他の利点や，反対に欠点も存在する．4．では，これらの利点・欠点について，企業研究者として様々なサービスの導入事例に携わってきた経験を基に，特に非深層学習と比較して私見を述べる．

2．導入事例1：ニュース見出しの候補生成