現在，世界各国の標準化団体，産業界，学術界において，6Gの国際標準化に向けた議論が本格化している．モバイルネットワークの標準化プロジェクト3GPPにおいても，6Gを見据えたユースケースや要求条件，アーキテクチャ設計の検討が進展している．その背景には，6Gを単なる通信インフラではなく，現実世界とサイバー空間を高度に融合させる社会基盤と捉えるビジョンがある．このような新しいビジョンの下，没入型XR，AI（Artificial Intelligence）/ML（Machine Learning），センシング，ロボットなどをはじめとする先進的な高度サービスが6Gのユースケースとして提案されている(1)．

このようなサービスを支える上では，大容量・低遅延な通信のみならず，高度な計算処理が不可欠である．とりわけAI/MLの学習・推論においては，膨大なデータを遅延なく処理する能力が求められる．しかしながら，これを全て端末側で完結させることは現実的ではない．実社会で普及するスマートフォンやロボットなどの端末には，電力消費の抑制や製造コストの低減，製品としてのデザイン性といった要件が課せられているためである．一方で，クラウドなどのサーバ側で端末の処理を肩代わりする構成では，計算処理に用いるGPU等の計算資源の配置や通信遅延等がサービス品質に大きく影響する．そのため，地理的に近い場所にある計算資源の利用が前提となる場合が多く，柔軟なリソース活用には課題がある．以上を踏まえると，高度なサービス要求と端末の物理的制約を両立しつつ，ネットワーク全体で計算資源を柔軟に活用することが，6G時代の重要課題である．

こうした課題に対し，NTTドコモとNTTは，6G時代のネットワークワイドな分散・協調処理を実現するための通信・計算融合アーキテクチャとしてIn-Network Computing（INC）を提唱している(2),(3)．INCは，従来は主としてデータ転送を担ってきたネットワークに，サービス固有のデータ処理や計算処理を取り込み，通信制御とサービス実行制御を連携させて統合的に管理・最適化する．より具体的には，ネットワーク内に分散配置されたGPUをはじめとする様々な計算資源を活用し，通信と計算処理を一体的に制御することで，端末単独またはサーバ単独では実現が困難であったAI推論等の高度サービスを高品質に提供する．結果として，処理能力や消費電力に制約のある簡素なデバイスであっても，6G時代の高度サービスを快適に利用可能となる．国際標準化の場においても，多くの企業からINCに類似するコンセプトが提案されており，INCは6G時代の高度サービスを実現する重要な要素となっている．

昨今の多様なワークロードの中でも，AI推論はとりわけ計算需要が大きく，かつ遅延や資源配置の影響を受けやすい代表的な対象である．特に，GPUなどのアクセラレータ資源は地理的に偏在しやすく，端末近傍の資源のみで需要を収容することは難しい．また，大規模モデルの推論では，処理分割，モデル配置，推論先選択，キャッシュの配置・共有・配送などを含む複合的な最適化が必要となる．このような地理的に分散したAI計算資源を統合利用して分散推論を実現する実行基盤は，AI Gridと総称されている．AI Gridは，INCの有効性を示す代表的な適用対象の一つであり，本稿では，分散AI推論というワークロードに対してINCがどのようなアーキテクチャと要素技術を与えるかを議論する．

本稿では，まず2.で関連研究と課題を整理する．次に3.で，AI Gridを対象としたINCのアーキテクチャと要素技術について説明する．4.では技術実証と評価結果を示し，5.では6Gに向けたINCの標準化動向を紹介する．最後に6.で本稿をまとめる．

本章では，6GにおけるAI Gridの実現を見据え，モバイル・エッジ・クラウド連続体におけるAI推論の関連研究と課題をまとめる．

端末の計算資源や消費電力の制約を補うため，計算処理を端末外へオフロードする方式が広く検討されてきた．アクセス網近傍でアプリケーションを実行するための枠組みとして，Multi-access Edge Computing（MEC）が提唱されており，参照アーキテクチャの制定や課題の研究が進められている(4)．計算資源の配置は一般に，端末―MEC（アクセス網近傍のエッジ）―Fog（中間層に分散配置された計算ノード）―クラウド（集約データセンタ）という階層で捉えられる(5)．それぞれ異なる特性を有することから，要件に応じた適切な資源の選択が肝要とされている．

一方，昨今主要なワークロードとなっている生成AI・映像解析などの推論処理では，アクセラレータ資源，とりわけGPUがボトルネックになりやすい．エッジ側へ十分なGPUを分散配備することは，設置コスト・電力・運用の観点から容易ではなく，結果としてGPU資源が一部拠点に偏在・集約される構成になりがちである．この場合，End-to-End（E2E）遅延や遅延揺らぎが体感品質に影響し，地理的に近い計算資源を常に利用できることを前提とした設計の実現は困難である．したがって，単なるオフロードに加え，処理を分割し複数資源に分散する実行形態の設計，要求の各計算資源への振分け基準を含めた設計が重要となる．

本稿では推論処理を複数資源で実行する方式を「協調推論」と「分散推論」に区別して整理する．協調推論は，端末とエッジ等の異なる階層をまたいで推論処理を分担する考え方である．端末―エッジ間や端末―クラウド間でDNN推論を分割する手法として文献(6)や文献(7)が提案されている．LLMにおける推論処理は，大きくPrefillとDecode処理に分割できる．Prefillでは入力プロンプトを処理しKVキャッシュを生成，Decodeでは生成トークンを逐次出力する．このDecodeとPrefillは異なる特性を有するため，応答性や経済性など要件に応じて，片方をエッジ，もう片方をクラウド側に配置するといった協調推論の研究が盛んである．

これに対し分散推論は，MEC内やFog内，同拠点内などの同一階梯内で複数の計算資源に推論計算を並列化して実行する考え方であり，例えばvLLM(8)におけるDistributed Inference and Servingの手法であるTensor/Pipeline/Data Parallelismなどが具体例である．協調推論と分散推論は排他的ではなく，例えば端末―エッジ協調の下で，推論実行部を複数GPUに分散する構成も成立する．

LLMサービングでは，各リクエストのコンテキストメモリであるKVキャッシュが大きく，かつ動的に増減するため，メモリ断片化や重複により資源が浪費されやすい．vLLMでは，KVキャッシュをページング的に扱うPagedAttentionを導入することで，KVキャッシュの浪費を抑えつつ高効率にサービングする設計を実現している(8)．

この性質により，LLMの協調・分散推論では，(i) 推論処理の割当先資源の選択，(ii) KVキャッシュの配置，(iii) キャッシュ参照・共有を考慮したルーティング，などが推論処理時間と資源効率に強く影響する．したがって，LLMを対象とする全体アーキテクチャでは，推論要求制御とKVキャッシュを一体として設計する必要がある．

分散環境では「どこに機能を置くか」と「どこへ要求を送るか」の同時最適化が重要である．MECにおいて，サービス配置と要求ルーティングをストレージ・計算・通信等の多次元制約下で最適化する問題は先行研究において定式化されている(9)．

この枠組みに照らすと，AI推論の実装では，(i)モデル配置，(ii)前段処理配置，(iii)推論キャッシュ配置，(iv)推論要求ルーティングを結合して扱う必要がある．特にLLMでは，キャッシュヒット率・キャッシュ移送コスト・GPU負荷・ネットワーク品質のトレードオフが顕在化する．

AIとモバイルネットワークを一体で設計する潮流として，AI-RANアライアンスが設立され，AI for RAN/AI and RAN/AI on RANといった複数の方向性が示されている(10)．また，ソフトバンクはAI-RANソリューションとしてAITRASを公開し，AIとRANの統合によるネットワーク革新の方向性を示している(11)．

これらは主としてRAN側の統合・高度化に焦点があるのに対し，本稿が扱うINCは，コア～エッジ～DCまで含む範囲で，AIの情報流通・処理を支える通信計算融合制御を扱う点で異なるコンセプトとなっている．

以上の関連研究を踏まえると，6G/AI時代のエッジコンピューティング基盤における課題は次のとおりである．

1. ネットワーク影響の解決・回避

GPU資源の偏在・集約により遠隔拠点の計算資源を活用せざるを得ない状況において，端末―資源間のE2E遅延及び遅延揺らぎによる体感品質の劣化を抑制し，遠隔資源利用を前提としても安定した低遅延処理を実現する必要がある．

2. 最適な実行形態の選択

推論処理の実行形態として，階層間で役割分担を行う協調推論と，同一層内で計算を並列化する分散推論の双方を考慮し，遅延・精度・コスト等の要件と資源状態に応じて適切な方式を選択するとともに，複数の手法を最適に組み合わせて制御する必要がある．

3. KVキャッシュの最適配置とデリバリー

LLM推論ではKVキャッシュが性能を支配するため，キャッシュ設備の拠点配備，キャッシュ格納時の拠点選択，拠点間の共有・同期・デリバリーを，再利用性・遅延・即時性などのトレードオフを考慮して最適化するとともに，キャッシュが必要とされる場所へ集まりやすい効率的な仕組みを実現する必要がある．

4. モデル配備とモデルルーティング

需要予測や設備状況，負荷偏在を踏まえたモデル配備を行うとともに，推論要求時には負荷状況や資源制約を考慮して適切なモデルと推論先を選択し，効率的にルーティングする必要がある．また，需要変動や電力等環境変動に応じたモデルの移設や更新を含め，運用中に配備を最適化する必要がある．

5. 統合的な動的最適化

課題1～4は相互に依存し，個別最適では全体としての性能・効率を損ね得る．ネットワーク状態，資源可用性，負荷状況，キャッシュ状態などの時間変動に追随し，資源選択，実行形態選択，KVキャッシュ制御，モデルルーティングを統合的に動的更新できる仕組みが必要である．

In-Network Computing（INC）は，従来は主として接続性の確立やデータ転送を担ってきたネットワークに，サービス固有のデータ処理を取り込み，両者を一体として管理・最適化するアーキテクチャである(3)．INCの特徴は，通信における接続確立や品質制御と，サービス実行時の分散計算資源へのオフロードや処理配置を同時に扱い，両者を連携させて整合的に制御する点にある．

具体例として地理的に分散されたAIインフラであるAI Gridを考えると，端末から到達する推論要求に対して，INCエッジを起点に推論先の選択や処理の分割，推論状態の再利用を含む制御を行い，必要な通信品質と計算資源利用を合わせて成立させることを目指す．コンセプトデザインを図1に示す．このとき，低遅延・大容量なトランスポートを前提に，遠隔拠点のGPU等のアクセラレータ資源も含めて活用することで，近傍資源だけでは満たしにくい要求にも対応する．

INCアーキテクチャにより，リアルタイムのAI推論など，端末単独やサーバ単独では処理能力や消費電力，あるいは資源偏在の制約から実現が難しい低遅延・高品質なサービス体験を提供可能となる．実際に，著者らはモバイルネットワーク制御とサービス制御を連携させ，低遅延や帯域確保等のE2E品質をオンデマンドに実現するINCアーキテクチャの実証を行っている．結果から，低遅延AI推論のように従来は地理的制約により局所化されがちであったサービスを，ネットワークワイドに提供する上での有効性を示している(2)．

モバイル・エッジ・クラウド連続体におけるAI推論を想定したINCアーキテクチャを図2に示す．このアーキテクチャは，ネットワークの制御単位として，①低遅延・広帯域なデータ転送を下支えする光トランスポートレイヤ，②端末からサービスまでのE2E通信路を構成するネットワークレイヤ，③AI推論等のアプリケーション処理を行うアプリケーションレイヤの大きく三つのネットワーク制御レイヤで構成される．各レイヤは，レイヤ内の制御・仲介を担う機能エンティティを含む．

光トランスポートレイヤは，光波長パスを任意の地点間で提供するAll-Photonics Network（APN）と，複数のAPN波長パスを利用してサービスごとに専用ネットワーク（サブチャネル）を構築するSubchannel Circuit eXchange（SCX）(12)，及びサブチャネル上に品質確定性の高いVPNを構築するSRv6 L3VPNで構成される．ネットワークレイヤは，移動体通信網の5G System（5GS），インターネットやクラウドなど外部サービスとの接続性を提供するデータネットワーク（DN）等の独立したネットワークドメインの集合体で構成される．アプリケーションレイヤは，協調推論，分散推論を行うInference Slice（推論スライス）と，KVキャッシュの最適な提供を担うCache Slice（キャッシュスライス）の大きく二つで構成される．

光トランスポートレイヤにおいて，SCXはAPNの光波長パス上にサブチャネルとして論理的な通信路を構築し，パケットベースの擬似的なTDMによって確定性と柔軟性を同時に実現する．このサブチャネルを用いたトランスポートスライスが確定性の高いVPNとして上位レイヤに提供される．5GSとデータネットワークにおける拠点間通信はトランスポートスライスを介して実施されるためネットワークレイヤの各ドメイン内及びドメイン間では通信の確定性が制御可能となる．

本アーキテクチャにおいて拡張された5GSは，ユーザのPDUセッションが確立されるとき，ユーザの契約情報やセッションに適用されるポリシーに基づき，SR Policy等のルーティングポリシーやステアリングルールをDNやL3VPN/SCXに広告する．DN，L3VPN/SCXが当該ポリシー，ルールに従って5GSを出入りするトラフィックを転送することで，5GS等のモバイル網も含めた確定性の高いE2Eスライスの提供が可能となり，課題1の解決が期待できる．

本稿では，KVキャッシュの配置・配布・参照を中心にE2E最適化を行う設計思想をCache-Centric Networkingと呼ぶ．これはContent-Centric NetworkingやContent Delivery Networking（CDN）等におけるコンテンツ中心の配送・キャッシュの発想を参照しつつ，本稿の対象である推論キャッシュに適用したものである．

LLMやVLMでは，入力プロンプトが長くなるとPrefill処理の負荷が高くなる．特にVLMでは文章入力と比較して映像入力はプロンプト長が大きくなるため，負荷増大と推論遅延などが問題となる．膨大なプロンプトを効率的に処理する手法としてTransformerにおける推論プロセスの中間結果であるKVをキャッシュして再利用する手法の有効性が示されている(13)．

キャッシュスライスでは，KVキャッシュの効率的な再利用を目的に，最適な配置，デリバリー，再配置を行うことで課題3を解決する．Prefill処理において生成されたKVキャッシュは生成場所の近傍に配置されるが，KVキャッシュの要求状況や各エッジにおけるプロンプトの傾向に基づいてKVキャッシュのデリバリーや再配置を実施することで，ネットワーク全体でキャッシュの利用効率の向上を行う．キャッシュの転送はRDMA(14)等により実施される．陳腐化したキャッシュはメモリからストレージに移動され，更にエイジングが進むと廃棄される．

協調・分散推論ネットワークでは，前述した協調推論と分散推論が実施される．Inference Orchestrator（推論オーケストレータ）が，これまで提案されてきたベストプラクティスに従ってネットワーク内のPrefill/Decodeによる協調推論の最適化，各拠点におけるTP/PP/DP等の分散推論の最適化やモデルの最適配置を行う．協調推論の最適化では，PrefillとDecodeをリアルタイム性や経済性などの要求条件に従って配置を変更する．図2ではPrefillをリージョナル側，Decodeをエッジ側に設置する構成としているが，リアルタイム性または経済性の追究など要件によっては全く逆の配置となることがある．分散推論の最適化では，拠点内またはネットワーク的に十分近傍で分散対象とでき得る拠点のGPU利用率等を考慮してTP/PP/DP等の分散推論をベストプラクティスに従って適用する．モデルの最適配置では，プロンプトの傾向・予測やGPU利用率，天候・発電予測，需要予測などからモデルの配置，再配置を実施し，ネットワーク全体の利用効率を向上する．これによって課題2及び課題4の一部の解決を図る．

INCエッジは，DPUベースのUPFであるdUPF(15),(16)とAI推論に特化したProxy機能を具備するAI Proxyの大きく二つで構成される．

AI Proxyは，推論リクエストを要求整形・認証するL7 Proxy機能，最適なモデル配置の算出とモデルルーティング機能を有する．モデルルーティングでは，課題4を解決するため，推論オーケストレータが配置したモデルに対して，GPU利用率，天候・発電予測，需要予測などに基づいて最適な選択を行うことで，ネットワーク全体の利用効率の向上を図る．この際，AI ProxyはdUPFを介して5GSと連携し，ユーザの移動によるトロンボーン現象の発生などを検出し，自身の再配置を行うことで，AI推論処理を通信と一体でネットワーク側から制御する．

dUPFは，DPUをベースとした5GSのUPF機能であり，DPUを用いることで高速低遅延なモバイル終端を可能とする．DPUを活用することでモバイル終端やデータ転送にほとんどCPUを使用しないため，消費電力低減や小型化が実現される．

また，DPUやCPUの，余剰リソースを用いた共通データプレーン構造を有することが特徴である．共通データプレーンには，L4最適化やFirewall機能などを搭載可能であり，ユースケースに応じて最適なネットワーク機能をオンデマンドに追加できる．モバイルAI推論では，ジッタや帯域変動が強く推論遅延に影響するため，図2に示すアーキテクチャでは，TCP最適化やL4SなどのL4最適化機能を追加している．セキュリティが重視されるユースケースでは，パケットキャプチャやロギングなどのモニタリング機能，Firewall，IDPなど防御機能を搭載することで，追加設備を最小限に抑えながらセキュリティを担保することが期待できる．

これらの要素技術は互いに連携して動作する．具体的には，前述したようにPDUセッション確立時には，5GSを起点としてトランスポートスライスの新規構築/更新，それに起因する推論スライスの新規構築/更新が行われる．推論リクエストが発行されると，INCエッジ内のAI Proxyがモデルのルーティングを行う．また，推論オーケストレータの最適化対応により，モデルやキャッシュの再配置やデリバリーが行われる．クライアントが大きく移動しネットワークの条件が変化すると，5GSによってdUPFの再選択などが行われ，結果としてセッション確立時と同様にトランスポートスライスや推論スライスの更新が実施される．

このように，本アーキテクチャでは要素技術が連動して動作し，課題5が解決される．

INCアーキテクチャの有効性を検証するため，商用網を用いたAI映像解析の実証実験を構築する(17)．図3に，構築した環境の全体像を示す．端末が送信した映像データは，5G無線区間を経て，商用5GネットワークとIOWN APN(12),(14)及びINC基盤を接続する役割を担うINCエッジへ到達する．INCエッジでは，5Gコアネットワークのユーザプレーン機能（UPF）をDPU上に実装したdUPFにおいて，GTP-Uトンネル（TS 29.281(18)）が終端される．GTPヘッダが外された映像データは，AI Proxyへ転送される．AI Proxyでは，映像のデコード処理を行ったのち，ネットワーク内の最適な遠隔GPUリソースに伝送し，映像AI解析を行う．dUPFが動作するDPUとして，NVIDIA BlueField-3(19)を用いる．拠点間のフレーム転送はRDMAを利用し，CPUによる介在処理を排除しながらGPUメモリ間でデータ転送を行う．

構築したシステムを用いて，性能評価を行う．端末から送信される動画ストリーム内の物体を検出するAI推論アプリケーションを用いて，提案アーキテクチャを評価する．図4に，AI解析したフレームの一例を示す．提案手法では，端末～遠隔GPUサーバに至る経路のデータ交換遅延と揺らぎを最小限に抑えたことで，パケットロスを低減し，安定した物体検出を実現している．より具体的には，従来アーキテクチャでは57%だった物体検知の正答率を，90%のAI自体の性能限界まで向上することを確認した．これは，端末でのローカル推論に匹敵する性能である．通信制御と計算制御の連携により，地理的に離れた遠隔GPUリソースを用いた場合でも，高い推論性能を維持できることが分かる．

AI Proxyを用いたAIリクエストの振り分けの実証を行った．Proxyは，アプリケーション層において推論リクエストの内容を解釈し，最適な推論モデルへ動的に振り分ける．本構成により，端末は単一の推論エンドポイントを指定してリクエストを送信するだけで，Proxyがリクエスト内容に基づいて

適切な推論モデルを選択し，当該モデルで推論処理を実行する．ユーザはモデルの違いを意識することなく，最適なモデルによる推論結果を得ることができる．

AI Proxyによる推論モデル振り分けが推論遅延に与える影響を測定する．推論リクエストとして，テキストのみからなるものと，画像を含むものを混在させる．異なる入力形式を同一環境下で処理することにより，振り分け処理が応答時間に与える影響を確認する．評価では二つの構成を比較する．一方は振り分け機構を有効化し，リクエスト内容に応じて推論モデルを選択する構成である．他方は振り分けを行わず，全てのリクエストを常に同一の推論モデルへ送出する構成である．両構成における推論遅延を比較し，振り分け処理の有無が応答時間に与える差異を定量的に評価する．

図5に，結果を示す．Proxyが入力種別に応じて推論モデルを適切に振り分ける提案構成により，振り分けを行わない従来構成と比較して，最大60%の遅延削減を達成している．この差は，入力とモデルの不一致によって発生する余分な処理を，排除できるために生じる．本結果から，アプリケーション層でリクエスト内容を解釈し，入力に適合した推論モデルを選択する機構が，推論遅延の抑制に有効であることが分かる．

VLM間のKVキャッシュ共有に関する実証を行った．実証では，二つのVLM（VLM-A，VLM-B）を用意する．まず，LLM-Aを用いて，事前に用意した映像の推論を行う．次に，VLM-Bに対して同一の映像リクエストを送信する．この際，Prefill処理において生じたKVキャッシュをLLM-Bに与える．本構成により，LLM-BはPrefill処理を省略して推論を行うことができる．

提案構成の性能評価を行った．評価では，映像の1フレームの解析に要する時間を指標として用いた．図6に，結果を示す．AI ProxyがVLM-Aの推論に伴い発生したKVキャッシュをVLM-Bに共有する提案構成により，Prefill処理時間を削減することで，遅延削減を達成している．

6Gに向けた国際標準化の議論においても，INCに関連するユースケース・ネットワークアーキテクチャの拡張が議論されている．世界の主要な通信事業者，通信ベンダー，研究機関などが参加する標準化プロジェクト3GPPにおいては，2024年から，6Gのユースケース議論を開始し，初期検討としてTR 22.870(1)の策定作業を開始した．多くの企業から，Computingに関連するユースケースが提案され，合意されたものがTR22.870内に記載されている．NTTドコモからもXRアプリケーションやAI映像解析アプリケーションに対するINC技術の適用に関するユースケース提案を実施し，TR22.870に記載されている．

2025年には，6Gネットワークアーキテクチャの議論を開始し，Computingに関連する検討課題を合意した．現在は，初期検討を開始し，TR 23.801-01(20)の策定を実施している．3GPPにおいては，今後2029年頃を目途に6Gの初期仕様策定を完了することを予定している．したがって，現在6G向けに議論されている技術はINC関連のものを含め，2030年以降を目安にオペレータのネットワークに実装されていくことが考えられる．

本稿では，NTTドコモとNTTが取り組むIn-Network Computingについて，その検討の背景，技術実証の内容，標準化の動向を紹介した．実証の結果から，AIなどのサービス向けにINCによるAI Gridを適用することで，低遅延のサービス体感を提供できることを確認した．今後も，NTTドコモとNTTは，6G時代のAIの価値を最大化するネットワークの実現を目指して，INCの技術検討・実証及び国際標準化をパートナーと連携し推進していく．