イベントカメラは，従来のフレームベースのカメラのように輝度のパターンとしてデンスな画像を観測するのではなく，シーン内の明るさの変化を検出して非同期にスパース（まばら）なイベントを生成することで，高い時間分解能の情報を効率的に取得する新しいタイプのセンサである．高い時間分解能を持つデータを効率的に取得できる一方で，そのスパースなデータは従来の画像データとは大きく異なるため，ニューラルネットを用いた処理においても，CNNやViTといった既存の画像認識用ニューラルネットをそのまま適用することはできない．その高い時間分解能を持つスパースデータを効率的に処理するAIを実現するには，新たなメカニズムが必要となる．本稿では，イベントカメラの基礎と，イベントデータを処理するためのニューラルネットについて概説する．

　イベントカメラは，従来のフレームベースのカメラとは異なり，シーン内の明るさの変化を検出して非同期にイベントを生成する．具体的には，イベントカメラの各ピクセルは独立して動作し，明るさの変化を検出すると，その位置（, ），時間，変化の極性（たとえばなら明るくなった，なら暗くなった）を含むイベントの系列を非同期に出力する（図1（a））．この動作原理により，通常のフレームカメラでは観測が難しい高ダイナミックレンジのシーンでも撮像することができ，さらに時間分解能の高いデータを効率的に取得することができる．このような特徴から，イベントカメラはロボティクス，自動運転，監視システムなど，高い時間分解能が求められるアプリケーションや明暗が混在する環境での利用が期待されている．1970年代に初めてプロトタイプが発表されて以来，イベントカメラの技術は急速に進化しており，数年前までは研究用のプロトタイプが主流であったが，現在ではSonyなどがセンサの量産を行い，カメラモジュールとして商用製品も登場している．

　イベントカメラからのデータは，従来のフレームベースの画像とは性質が大きく異なるスパースなデータである．そのため，画像やビデオといったデンスなフレームデータを前提として設計されたCNNやViTをそのまま適用することは困難である．そこで，一度フレームに変換するアプローチから，スパースな信号をそのまま処理するアプローチまで，イベント処理に特化したニューラルネットアーキテクチャが提案されている．

　イベントデータを処理するための最もシンプルな方法は，スパースなイベントデータを従来のニューラルネットで処理できるフレーム形式に変換するアプローチである（図1（b））．例えば，イベントを時間的に積分するという素朴な方法から，変換自体をニューラルネットによって学習する手法 (1)まで，さまざまな変換方式が提案されている．この方法ではスパース性を活かした効率的な処理はできないものの，CNNやViTといった画像処理用に開発された洗練された手法を利用でき，イベントデータが持つ高い時間分解能や高ダイナミックレンジ（HDR）といった特性を活かすことができるというメリットがある．また，再帰構造を持ったネットワーク（RNN）によって，過去の計算結果を再利用することで演算量を低減する方法なども提案されている (2)．

　SNNは，生物の神経系から着想を得たニューラルネットであり，ニューロンがRNNのように過去の状態を保持し，その値がしきい値を超えたときにイベントδを発火し，学習された重みを経由して情報を伝達するという構造を持つ（図1（c））．イベントカメラのようなスパースな時空間データを自然に扱うことができ，原理的には非常に少ない電力で時間分解能の高いデータを処理可能であることが知られている．一方で，各ニューロンの動作がアナログ的である（よく用いられるLIFモデルなどはCR回路と等価）ため，ディジタルコンピュータ上で効率的に実装することが難しい．さらに，スパイクの発火は微分不可能な活性化関数としてモデル化されるため，誤差逆伝播法による学習が困難であるといった課題も存在する．これら2つの問題を解決するアプローチとして，前時刻の活性化の値を用いて再帰化したニューラルネット (3)などが提案されているが，このモデルも効率的な実行には専用の演算器が必要であり，GPUなど昨今のAIアクセラレータ上で効率的に実行することは難しい．

　GNNは，グラフ構造のデータを扱うためのニューラルネットであり，イベントカメラのデータをグラフとして表現することで，スパースなイベントデータをスパースなまま処理できる（図1（d））．各イベントに紐づく特徴をノード表現として扱い，時空間的な関係をエッジ表現として表すことで，グラフ畳み込みなどのグラフ演算を用いてイベント間の関係性を学習する．これにより，イベントが存在しない時空間領域に対する無駄な処理を回避したスパース処理を実現できる．しかしながら，時系列データであるイベント列に単純に適用した場合，新しいイベントが到着するたびにグラフ構造が変化するため，全ノードで再計算が必要になり，効率的な実装が難しいという課題がある．そこで，新しいイベントに対して局所的に更新を行う手法などが提案されている (4)．

　PointNet (5)は，3D点群データを処理するために提案されたニューラルネットである（図1（e））．点群の座標を多層パーセプトロン（MLP）などで高次元ベクトルに変換し，最大や平均など順番に依存しない集約関数で特徴量を1つのベクトルに集約するというメカニズムにより，点群の順序や数に依存しない特徴量を得ることができる．イベントデータも時空間の3D点群データとして表現できるため，PointNetを用いてスパースなまま処理することが可能である．しかしながら，GNNの場合と同様に，時系列のイベントに適用した場合，新しいイベントが到着するたびに全点群の再計算が必要となり，演算量が依然として大きい．そこで，高次元ベクトルに時間的な減衰を組み込むことでRNNとして効率化した手法 (6)や，これとTransformerを組み合わせることで精度向上を実現した手法 (7)などが提案されている．

　Attention機構は，Transformer (注1)に代表されるように，近年のニューラルネットにおいて重要な役割を果たしている．しかしながら，その計算量は入力長の二乗に比例して増加するため，長い時系列データを扱う場合には計算コストが非常に高くなる．これに対し，クエリとキーの総当たり内積に対して，非線形演算であるsoftmaxを用いずに線形で近似したLA (8)では，キーとバリューの積を先に計算することで，計算量を入力長に対して線形に抑えることができる．さらに，LAでは，過去のキーとバリューの累積和をメモリとして保持することで，過去の計算結果を活用したRNN的な再帰処理ができる．これにより，新しいデータのみを処理すればよいため，大幅な演算量の低減を実現でき，イベントデータのような長い時系列データを効率的に処理することが可能となる（図1（f））．SSM (9)は，入力シーケンスを状態空間としてモデル化し，効率的な再帰処理を可能にするモデルであるが，昨今の研究により，LAとSSMはその特殊な形が数学的に等価であることが示されており，これに基づいて両者の長所を活かしたモデルが提案されている (10)．これらの研究成果をベースに，実際にスパースなイベントデータを画像化やパッチ化することなく，直接SSMやLAベースのモデルを用いてモデリングした例が報告されている (11)．しかしながら，SSMやLAは時空間方向に対して1つのメモリで過去の情報を保持する構造であるため，詳細な時空間データのモデリングが必要となるタスク（セグメンテーション，物体検出やトラッキングなど）には，このメモリ次元を大きくせざるを得ず，その結果，演算量が増加するという課題がある．この問題に対して，LAに局所性を導入することで，各局所メモリのサイズを小さくして，高精度な処理を少ない演算量で実現する手法などが提案されている (12)．

　イベントカメラは，非同期なセンシングメカニズムによって，従来のフレームベースのカメラとは異なるスパースな観測を行う新しいセンシングデバイスである．デンス化するアプローチでは，画像処理の分野で確立されたTransformerベースの手法が主流となっているが，スパース性を活かすイベントベースニューラルネットについては，まだ発展途上にあり，今後の進展が期待される分野である．特に，SSMやLAベースのモデルは，イベントデータのような長い時系列データを効率的に処理できるため，今後の研究動向が注目される．