アニメや映画に登場するおいしそうな食事。画面の向こう側にある味を、現実世界の私たちが体験できる時代がやってきた。

　明治大学総合数理学部先端メディアサイエンス学科長の宮下芳明専任教授と同学科3年生の本間大一優さんは2023年9月、映像に登場する飲食物の味を再現し、「味わえる映像」を実現するシステム「TasteColorizer（テイストカラライザー）」の研究を始めた。白黒映像をカラー化するように、味情報が付与されていない過去の映像にも対応する。粘性や香りなどの再現も目指している。

　テイストカラライザーは、AI（人工知能）が推測した味を映像ファイルに埋め込み、塩化ナトリウムやクエン酸などの調味料の液体を混ぜ合わせることで、「味わえる映像」の生成を可能にしている。

　画像入力の分析ができる米オープンAIの「GPT4-Vision（GPT-4V）」で飲食物が写っている映像を判定し、味を推定する。推定した味のデータは、映像や音声とともにMP4を拡張したファイル形式「FlavMP4」に書き込む。再生プレイヤーの液体混合式デバイス「TTTV3」は、FlavMP4から映像と音声、味データを読み込んで再生する。

　23年8月に宮下研究室が開発したTTTV3は、基本五味（甘味、酸味、塩味、苦味、うま味）に加え、辛味などをプリンターのように調味料の水溶液を混ぜ合わせて再現する。

　映像のピクセルに対応する形で味データを書き込めるため、視聴者は再生時に任意の映像上で味を出力できる。味データを編集できるソフトウェアも試作し、調整も可能だ。

　テイストカラライザーは、宮下教授のTTTV3の仕組みを拡張して開発。TTTV3は、90年代に九州大学が開発した味覚センサーを使って飲食物の味を再現する。味覚センサーで数値化できない飲食物の味は再現できないという制約があったうえ、子どもの頃に食べた記憶の中にある味など「味覚センサーでは解決できない問題があった」（宮下教授）。

　本間さんが実行したのが、GPT-4Vに基本五味の分布を推定させ、その結果を記録することだ。大規模言語モデル（LLM）の特長を生かし、インターネット上にある食品成分表などのデータを学習することで「味覚センサーがなくても味が再現できる」（本間さん）と考えた。

　宮下研究室は9月、脂質がない油と、脂質や糖類がないクリームを生成する装置を発表。本間さんは今後、テイストカラライザーを生かし、粘性や香りの再現も目指していく考えだ。