8.
視覚と言語から行動へ
──自動運転におけるマルチモーダルAIの進化──
From Vision and Language to Action: Evolution of Multimodal AI for Autonomous Driving
本稿では，自動運転を題材に，視覚と言語を統合するVision-Language Model（VLM）から，行動生成や未来予測まで扱うフィジカルAIへと発展するマルチモーダルAIの最新動向を概観する．まず，VLMの基本構成と特性を整理し，時空間推論や敵対的攻撃への頑健性など，自動運転に求められる能力に向けたVLMの拡張について紹介する．続いて，視覚・言語・行動を統合する視覚―言語―行動（VLA: Vision-Language-Action）モデルや，環境ダイナミクスを内部表現として扱う世界モデルといった，フィジカルAIを支える基盤技術を取り上げる．これらの技術を統合することで，AIが「見る・理解する・語る・動く」を一体的に学習し，安全で説明可能な自動運転を実現するための基盤が形成されつつあることを示す．
キーワード：視覚―言語モデル，世界モデル，マルチモーダルAI，フィジカルAI，自動運転
1. は じ め に
近年の人工知能（AI）は，視覚・言語・行動といった複数モダリティを統合するマルチモーダルAI（Multimodal AI）へと進化している．大規模言語モデル（LLM: Large Language Model）の登場を契機に，視覚と言語を統合する視覚―言語モデル（VLM: Vision-Language Model）が発展し，そこから行動生成や環境ダイナミクス(用語1)の理解まで扱うフィジカルAI（Physical AI）へと展開が進んでいる．
自動運転は，こうしたマルチモーダルAIの社会実装が求められる領域の一つである．車両はカメラやLiDAR(用語2)など多様な観測情報を統合し，周囲状況を理解した上で，安全で説明可能な行動を選択する必要がある．静的な物体認識だけでなく，「状況がどう進行し，次に何が起こるか」を時空間的に推論し，判断根拠を人が理解可能な形で提示できる知能が求められる．
VLMは視覚と自然言語を結びつけ，画像内容の説明や質問応答を可能にする重要な技術である．一方で，自動運転に必要な能力は更に広い．動的な交通環境の理解，文化的背景への適応，そして具体的な操作（減速・停止・回避など）の選択まで，視覚と言語の統合を超えた「行動まで含むマルチモーダルAI」への拡張が不可欠である．本稿のタイトル「視覚と言語から行動へ」は，この発展方向を示したものである．
1.1. 自動運転技術のパラダイムシフト
自動運転は当初，交通ルールや地図情報に基づくルールベース方式が主流であった．深層学習はモジュールとして利用されていたが，ルールベースへの依存は，環境変化や例外事象への対応に限界があった．その後，センサ入力から制御出力までを直接学習するEnd-to-End学習が登場し，多様な走行パターンを扱えるようになった．これによって，汎化された運転の計画が可能となり，様々な運転環境に容易に適合できる自動運転モデルが実現された．しかし，End-to-Endモデルはロングテール事象への脆弱性や説明性の不足といった課題を残す(1)．
これを補う次の潮流として，LLMを核としたマルチモーダルAIが注目されている．センサで観測した情報に対してLLMの常識的推論能力を活用できるVLMに加え，運転軌跡や制御信号などの行動モダリティを統合する視覚―言語―行動（VLA: Vision-Language-Action）モデルや，環境のダイナミクスを内部表現として扱う世界モデル（World Model）が研究されている．このように，自動運転の知能基盤は，ルールベースからEnd-to-End，そしてVLMを経由し，視覚・言語・行動を一体的に扱うマルチモーダルAIへと進化しつつある．
