1. 大規模言語モデルとリザバー計算

大規模言語モデル（LLM: Large Language Model）は，今や現代社会に浸透したといってよい．学生，社会人，主婦に至るまで，ChatGPTに語り掛け，時に人生相談までしている．知ってのとおり，LLMの背後にはトランスフォーマ(1)をベースにした巨大な学習済みのニューラルネットワークが回っており，皆がそれにアクセスし使用しているという状況が大方である．さて，本稿では，そのLLMとリザバー計算の関係を論じたい（図1）．リザバー計算とは何か？　まずは，その説明から入る．

リザバー計算とは，一言で言ってしまえば，リカレントニューラルネットワーク（RNN）の学習法の一種として導入された情報処理のフレームワークである(2)．基本的には通常のRNNと同じく，入力層，中間層，出力層を持ち，タスクの種類も同様である．つまり，履歴に依存した（過去の記憶を必要とする）ようなタスク全般（言語処理，音声・信号処理，センシング，非線形力学系の汎化など）をターゲットとする．特筆すべきは，その学習法である．入力層から中間層への結合荷重ならびに中間層の結合荷重を不変とし，中間層から出力層への結合荷重（リードアウト）のみを学習する（多くの場合，線形回帰やリッジ回帰を用いた教師あり学習となる）．このとき，学習時に不変な中間層を特に“リザバー”と呼ぶ（現状，中間層にRNNではなく，フィードフォワードネットワークを活用したものや，RNNをフィードフォワード的に用いるものもリザバーと呼ぶ文脈がある．本稿でも，学習の際に不変のまま存在する情報処理資源一般をリザバーと呼ぶ）．この方式により，学習が簡便で素早く，学習データも多くを要しないことから，様々な応用が広がっている．代表的なものの一つが，エッジでの活用である．学習データをその場で取得し，学習自体をその場で行い，即実装するという流れである．そのため，ハードの性質上，多くのデータを取得できないフレキシブルデバイスやソフトロボットとの相性が良く，リザバー計算と組み合わせた研究が多く存在する(3),(4),(5),(6),(7),(8),(9),(10),(11),(12)．

リザバー計算は2000年代初頭に提案された二つのモデルに端を発する．一つは，Herbert Jaeger氏によるEcho State Network（ESN）(13)，もう一つは，Wolfgang Maass氏のグループによるLiquid State Machine(14)である．両者は別のバックグラウンドから提案されているが，その学習法に共通点があることから，同じ傘の下，取り扱おうということで，リザバー計算が立ち上がった（その成立の詳細を知りたい読者は引用文献(2)にあるHerbert Jaegerによるforewordを参照のこと）．成立から既に25年余り経っているが，その隆盛，とどまることなく，理論面，実装面共に着々と展開が進んでいる．その一つの要因は，リザバー部の選択として，RNNに限らず，任意の力学系を活用できる点にあるであろう．（先にも述べたが，時に，時間発展しない系をリザバーとして導入する研究さえある．このとき，記憶を必要とするタスクは解けないであろうが，こういった個別のケースの詳細には踏み込まない．）これにより，近年では非線形力学系分野にも展開をもたらし，何より任意の物理系のダイナミクスを計算資源として射程に入れることさえ可能となった．このフレームワークは，物理リザバー計算と呼ばれる(15),(16),(17)．