1．は　じ　め　に

　フードテックという言葉に象徴されるように，技術と食との新しい融合による食のイノベーションについて関心が高まっている．その範囲は，とても広く農業や生産から流通，調理等々を包含している．食べることに限定しても，IT技術は，様々な応用を生み出し，実サービスとして広く社会に訴求してきた．例えば，CookPadに代表されるレシピ共有サービス，Delish Kitchen等の調理の様子を手際良く伝える調理動画像サービス，食べログ等のレストラン推薦サービス，FoodLog等の食事記録サービス，あすけん等の食事記録を含むダイエットサポートサービスなどが挙げられる．更には，TABETEのようにフードロスを減らすような取組みまで行われている．

　本稿では，特に人の食事画像の認識，マルチメディア処理の現況に触れるとともに，マルチメディア処理を活用した食事管理ツールについて述べ，筆者らが新しく構築したユーザと管理栄養士のコミュニケーションを支援する食事記録ツールについて紹介する．

　FoodLog⁽¹⁾，あすけん⁽²⁾などの既存の食事管理支援ツールは，ユーザの自己管理をシステムがサポートするという形態をとっている．テキスト，画像を用いてユーザが自らの記録を振り返り自己管理に役立てたり，システムからユーザをサポートするメッセージが送出される．そのメッセージは，システム側でルールベースで作られたり，システム側の管理栄養士が作成する．一般ユーザがゼロから平均的な食事管理を始める場合には，システムからの支援は役に立つだろう．

　その一方で，栄養管理を受けている人，アスリートのようにその目的に合わせた特別な配慮が必要な人の場合には，ブラックボックスのシステムではなく，栄養指導を行っている管理栄養士が関与するシステムであることが望ましい．

　そのため，筆者らは，ユーザと管理栄養士の食事管理とコミュニケーションを支援するFoodLog Athlという新しいFoodLogを構築した⁽³⁾．本稿では，食のマルチメディア情報処理の現状について触れるとともに，その新しいツールについて紹介したい．

2．食事のマルチメディア処理

　食事のマルチメディア処理の課題は多様である．特に，この10年余り，一般のマルチメディア課題と同様に，ネットを介して多くのデータの収集ができるようになってから，大きく進展した．その課題は，食の視覚，嗅覚，味覚にわたる知覚の課題，食のカテゴリーや食材を予測する認識の課題，レシピなどの食関連の情報を検索する課題，食を人のニーズ，好みに応じて推薦する課題等々多岐にわたる．これら全てをFood Computingと定義して，その網羅的なレビューも出版されている⁽⁴⁾．また，食事認識と関連の画像処理技術については，文献(５)に詳しい．食の情報処理に関して御関心の方には一読をお勧めしたい．

　本稿では，これらのうち2点だけ取り上げる．一つは，基本的なタスクである食事画像認識であり，もう一方は画像だけでなく，レシピなどの情報も組み合わせたマルチモーダル処理である．

3．FoodLog Athl
――新しいマルチメディア食事記録ツール――

　FoodLogは，写真で簡単に個人の食事記録をとることを目指して，筆者らが開発を進めてきた⁽¹⁹⁾．画像を用いた食事記録ツールとしてFoodLogは，広く一般提供された最初のものであろう．筆者らは，2008年にデモし，2009年に食事バランスの推定を行い，2013年に公開したモバイルベースのアプリ以降，画像検索や画像認識により，食事記録を支援する．広く無料で公開したこともあり，一般ユーザに適度に利用され，今まで総計すれば，1,000万件を超す記録が集まっている．

　FoodLogや既存の栄養指導アプリとは異なり，新しく構築したFoodLog Athl^{(3),(20),(21)}は，運動選手などを相手に栄養指導を行う管理栄養士を支援することに重点を置いている．（なお，ユーザが運動選手である必要はない．）

　聞き取り調査をしたところ，通常は図1に示すように栄養指導が行われている．選手（ユーザ）は，毎食の写真や食事記録，毎日の体重などの記録，そして必要に応じて質問やコメントなどをLINEといった一般的なコミュニケーションツールを使って管理栄養士に送る．管理栄養士は，送られてきた記録を基に何らかの栄養計算を行い，選手の目標値，バイタルデータを合わせて考慮して，選手にアドバイスを送る．このループを回すことで，選手は継続的に記録を続け，管理栄養士は，日々のデータの処理を行う．このようなやり方で，多くの場合の栄養指導が行われている．ITツールとしては，コミュニケーションツールの利用にとどまっている．栄養計算といった作業は，一つずつ行う必要があり，選手ごとのデータのアーカイブやデータの整理も別作業として行う必要があるなど，作業量は多い．

　この従来の方法に対して，新しいFoodLogのフレームワークは，図2のようになり，メッセージを送受するコミュニケーションループに，食事記録システムを統合している．食事画像認識を使うことで，選手の食事内容の記録をサポートする．選手の食事記録は入力時にデータ化されているので，管理栄養士は，必要に応じた修正，追加，削減を行うだけで，栄養計算は最小限にとどめることができる．選手ごとに日々の食事内容と数値を一覧し，メッセージを送ることができる．なお，栄養データベースについても大きな違いがあり，FoodLog Athlでは，FoodLogと異なり，

 （１）食事栄養データベースとして，foodLogの一般食約1,400件とEatSmartの提供する一般食，外食，外販まで含めた約14万件のデータ⁽²²⁾，文部科学省の日本食品標準成分表⁽²³⁾．（また，要望のあったプロテイン4種も加えた．）

 （２）食事品目名は栄養データベース中のものに限定．

 （３）ただし，管理栄養士は，記録されている栄養データの修正，食材レベルでの加減算ができる．

　以下，それぞれのユーザツールと栄養士ツールについて紹介する．

4．FoodLog Athlユーザツール

　ユーザ（選手等）は，自分の記録をモニタして指導する管理栄養士がいる場合には，その管理栄養士をそのIDで指定する．そのような管理栄養士がいなければ，メッセージのやり取りをせずに自分の記録としてだけ使ってもいい．

　食事記録にあたっては，既存のFoodLogのAPIを利用していて，その登録手順は類似している．FoodLog Athlの開始画面は，1週間の記録の様子と当日の記録の集計である（図3(a)）．全くの開始時には何も映っていないが，プラスボタンに触れることで，操作が始まる．

 （１）FoodLog Athlで食事の写真を撮る，あるいは，アルバムから写真を選択する．

 （２）食事画像認識により写真内の食事が検出され，バウンディングボックスとその認識結果が表示される（図3(b)）．食事認識は，開始時には，一般的に頻度の高い400食程度の認識器であるが，自然と新規登録を続けるうちに，パーソナライゼーションが進み，認識可能な食事が増大していく⁽¹⁵⁾．

 （３）認識結果に誤りがあれば修正する．間違った食事認識が行われていれば，データベース中の正しいもので置き換える．また，漏れているものや，過剰な検出があれば，スクリーンにタッチしてバウンディングボックスを追加する．必要に応じてバウンディングボックスを補正する（図3(c)）．

 （４）写真に写り込んでいない食事を追加したい場合は，料理名で追加をする．

 （５）食事の分量としては，標準的な1人前がデフォルトでセットされている．分量の認識の自動処理は困難であり，マニュアルで調整する（図3(d)）．

 （６）以上の記録を登録することで，当該の食事記録が行える．これに合わせて，自由形式でコメントを書き，管理栄養士に伝えることができる．

　なお，写真なしの記録も可能であり，(１)において「写真を撮らずに食事記録を作成する」を選択することで，栄養データベース中の食事品目名をテキスト検索して登録することができる．あるいは，食事製品である場合には，バーコードを利用した登録も可能である．（バーコードはEatSmartの提供するデータを利用しており，全ての食事製品に付いているわけではない．）

　現在，頻出する一般食データと外食外販データを用いている．システム側で追加すれば，カフェなどのメニューであったり，病院の食事であったりと，異なるデータベースを追加したり，切り換えて用いることも可能である．

　バイタルデータとしては，体重に限定しているが，将来的には，Healthcareツールのデータを読み込むことで，それ以外のデータを補充することが可能になる．

5．FoodLog Athl栄養士ツール

　栄養士ツールについても概略を紹介したい．管理栄養士は，基本はWebでのアクセスを行うことで，指導する運動選手のデータを一覧することができる（図4）．なお，ユーザ側で，管理栄養士IDを登録することで，このリストに加えることができる．

　図4のユーザリストから，詳細に見る対象を選択すると，その食事記録とメッセージの送受についての記録が表示される．上部には，そのユーザの概略と体重，身長などの情報，そして，日々の栄養価として設定した目標値が表示される．

　食事記録の欄のアドバイスの作成を選ぶことで，食事記録の詳細を図5のように表示できる．一日に摂取している栄養のサマリを表示する．その中では，一食ごとの食事記録について，その食事品目名，分量，栄養価を表示するようになっている．これらの記録を確認し，管理栄養士はユーザへのメッセージを書き送る．

　また，食事内容が必ずしも管理栄養士の経験に照らして正しくない場合には，その修正，加算，減算ができる．図6のように，加算，減算は，食材単位で行う．なお，今のシステムは，一度記録したものへの修正は，管理栄養士だけができる設計になっている．

　更に，データのエクスポートができるようになっており，レポート作成のためなど，データを加工して利用するために食事記録のデータはCSV形式でローカルに出力できる．

　これに加えて，管理栄養士が場所の制約なくユーザの情報を見て，メッセージを送ることができるように，スマホのアプリも構築した（図7）．選手の一覧と，選択した選手の食事内容のサマリをスマホで見ることができ，メッセージの送受も可能である．

6．利 用 の 検 証

　2019年1月から3月に，東京大学アメフト部の体力増強の期間にこのツールを使って，10名ほどの運動選手の栄養指導を管理栄養士が行うというトライアルを行った．その時点では，管理栄養士の食事記録の修正機能やモバイルアプリなど一部は実現前ではあったものの，基本的な機能はできており，そのバグ出しも含めた検証実験であった．利用した管理栄養士からは，

 「食品ごとに栄養素の計算をする必要がなくなった」，

 「選手とのやり取りをレポートとして保存する必要がなくなった」，

 「選手との食事記録の振り返りが分かりやすく容易になった」

等のコメントが寄せられ，管理栄養士に役に立つという観点での効果が確認できた．

　その後，2019年11月末から，ユーザツール，栄養士ツールとも無償で公開し，小規模ながら利用が行われている．一部の利用者からのフィードバックも参考に継続的にシステムの改善を進めている．

7．ま　　と　　め

　本稿では，食のマルチメディア処理の最近の動向について紹介するとともに，筆者らのグループで管理栄養士に役立つという視点で新たに構築した食事記録ツールについて紹介した．このツールは，ユーザとそのモニタを設定自由であり，食事調査などの目的にも利用可能である．

　謝辞　FoodLog Athlの開発に尽力した唐澤弘明君，天野宗佑君はじめ山肩洋子准教授を含む研究室のFoodLog研究グループに感謝致します．本研究の一部は，JSPS 18H03254，JST CREST JPMJCR1686，本学先端スポーツ科学研究拠点の支援を受けた．

文　　　　　献

（2020年4月27日受付　2020年5月9日最終受付）