2-2 2. エッジコンピューティング応用技術
Transformer時代の深層学習に向けた大規模並列計算基盤技術の動向
Trends in Large-scale Parallel Computing Infrastructure for Transformer-era Deep Learning
自然言語処理を中心とした生成AIの進歩は著しく，社会の様々な場面で活用され始めている．この急速な発展の原動力となっているのが，深層学習アーキテクチャTransformerである．生成AIの活用拡大に伴い，GPUの大量導入やデータセンタの高密度化，更には電力消費の増大が社会的課題として顕在化している．これらはTransformerに代表されるモデル構造と密接に関係している．本稿の目的はTransformer時代に特徴的な大規模並列計算アーキテクチャの動向を俯瞰することである．まず，Self-AttentionやFeed-Forward Networkなど，Transformerを構成する主要要素に着目し，その基本構造と計算特性を整理するとともに，モデルの大規模化や長文コンテキスト化に伴う計算量及びメモリ特性を概観する．次に，データ並列，テンソル並列，パイプライン並列といった大規模Transformerモデルを支える並列化方式を整理し，計算構造が並列化戦略及び通信特性にどのような影響を与えるかを示す．更に，Self-Attentionが系列全体に依存する計算構造を持ち，学習と推論の処理特性に応じた並列化方式及び計算基盤設計が不可欠であることを論じる．
キーワード：Transformer，並列計算，GPUクラスタ，テンソル並列，Key-Valueキャッシュ
1. は じ め に
近年，生成AIの急速な発展に伴い，自然言語処理や画像生成をはじめとする多様な分野において，Transformer(1)に代表される大規模深層学習モデルが広く活用されている．これらのモデルは，高い表現能力と汎用性を背景として急速に規模を拡大しており，モデルパラメータ数及び学習データ量は年々増大している．
Transformerは，Self-Attentionを中心とする行列演算主体の計算構造を持ち，系列長の二乗に比例する演算を含むなど，計算量及びメモリ使用量が急速に増大する特性を有する．この結果，大規模深層学習は単一計算装置上で完結する処理ではなく，多数のGPUを用いた並列分散計算を前提とする計算様式へと移行している．
従来，大規模モデルの研究開発はハイパースケールデータセンタなどのクラウド環境を中心に発展してきた．しかし近年では，大学・研究機関や企業内に設置されたローカル計算基盤（オンプレミス環境）においても，限られた計算資源の下で大規模モデルを効率的に実行する必要性が高まっている．このとき重要となるのは，単なる計算資源の増強ではなく，モデルの計算グラフ構造に起因する通信特性を踏まえた，計算・通信・並列化の統合的設計である．
本稿では，大規模Transformerモデルの計算グラフ構造と通信依存関係に着目し，データ並列，テンソル並列，パイプライン並列といった代表的な並列化方式を，計算グラフ分割及び実行制御の観点から体系的に整理する．特に，Self-Attentionが層内でall-to-all型の依存関係を有することにより，通信が本質的なボトルネックとなる構造を明らかにする．その上で，学習及び推論それぞれの処理特性に応じた計算基盤設計の課題と今後の展望について議論する．
