1．は　じ　め　に

　ディープラーニング（深層学習）が提唱されてから，ほぼ15年が経過している．ディープラーニングは第3次ニューラルネットワークブームとも呼ばれるが，第1，2次のブームと違い，技術的に定着し，基盤技術としての地位を得たと思われる．ディープラーニング関連の技術は，基礎研究から応用研究に至るまで多岐にわたっており，全体を眺めるためにはいろいろな切り口がある．本稿では畳込みニューラルネットワーク（CNN: Convolution Neural Network）をベースに，その基本構成単位であるビルディングブロックの変遷と発展を解説する．もちろん，CNN一つをとってみても，やはり研究分野は非常に多岐にわたり，筆者も全てを網羅できているわけではないため，ここではCNNとその基本構造（ビルディングブロック）の変遷について振り返り，将来の展望を考えてみる．

2．畳込みニューラルネットワークの起源

　ここでは，深層学習におけるブレイクスルーとなったCNNの起源からの流れを解説する．CNNのネットワーク構造の起源はFukushimaが提案したネオコグニトロンにある⁽¹⁾．ネオコグニトロンは，大脳視覚経路における腹側経路のモデル化から考案されたニューラルネットワークモデルである．ここではその起源からどのようにニューラルネットワークのアーキテクチャが形作られたかを見ていく．

　腹側経路における最初の大脳皮質領野は初期視覚野と呼ばれる．初期視覚野の細胞の情報処理範囲は狭く，一つ一つの細胞では視野のごく一部の情報しか処理できないことが知られており，この情報処理範囲は受容野と呼ばれる．これらの細胞は狭い受容野しか持たないため，画像中の“線分”や“エッジ”という入力刺激に反応し，特定の方位に対して選択的に反応することが知られている．狭い受容野の細胞で視野全体の情報をカバーするため，初期視覚野の細胞は，大脳皮質上で受容野の位置をずらしながら整然とマッピングされている．このような表現を工学的な表現に落とし込む場合，特定の傾きの線分（若しくはエッジ）に反応する細胞のみを集めることで，ある一定の特徴の視野中の位置をマップするような表現を構成することができる．この表現は，入力信号に対して，局所的な線分成分を核とした畳込み演算で表すことができる．このような表現をここでは特徴マップ表現と呼ぶことにする（図1上段）．一方，初期視覚野には単純形細胞と複雑形細胞という2種類の細胞が存在する．単純形細胞と複雑形細胞の違いは，受容野内に提示される入力刺激に対する反応の違いにあり，単純形細胞は入力刺激の提示位置に対して敏感であり，提示位置を変えると細胞の応答が減少するのに対して，複雑形細胞は提示位置の変化に対しては頑健である．HubelとWieselは，単純形細胞と複雑形細胞の反応特性を説明するために，これらの細胞をカスケード状に接続するという階層仮説を提案した⁽²⁾．