パナソニック ホールディングス（HD）とパナソニックR&Dカンパニーオブアメリカ（PRDCA）は、カリフォルニア大学ロサンゼルス校（UCLA）の研究者らと共同で、スマートフォンなどのモバイル端末上の業務をAI（人工知能）が先を予測しながら支援する世界モデルを開発した。

　世界モデルを学習するための約140万件の学習データセット「MobileWorld」と、その性能を評価するベンチマーク「MobileWorldBench」を構築。AIエージェントのモバイル端末操作の成功率を向上させることにも成功した。

　この研究は、10月24～29日までハンガリー・ブダペストで開催される自然言語処理分野のトップカンファレンス「EMNLP 2026」で発表する。

　生成AIの進展に伴い、製造・物流・保守などの現場では、人に代わってスマホやタブレット上の操作を支援・実行するAIエージェントの活用が期待される。画面を画像として予測する従来の世界モデルの方式では、時刻、通知、画面レイアウトなど操作に関係ない情報も再現する必要があり、予測が難しい場合がある。

　このため、画面をピクセル単位で予測するのではなく、操作によって生じる重要な状態変化を予測し、次の操作選択に活用する新たな世界モデルが求められていた。

　新技術は、操作後の画面を画像で再現するのではなく、「ボタンを押すと設定画面が開く」「入力欄が表示される」といった操作に関する変化を自然言語で予測する。

　これにより、時刻、通知、画面レイアウトなど操作に関係のない情報に左右されず、AIエージェントは複数の操作候補について予測した状態変化を評価し、目標達成につながる操作を選択する。

　今回構築したMobileWorldは、Android端末での人間の操作軌跡を基に、操作内容、操作前後の画面、画面変化の説明、次状態に関する質問・回答などを収録したデータセットとなる。画面変化を説明するデータ約94万2000件と質問・回答データ約54万3000件を含む。

　視覚言語モデルを用いてデータを生成・自動選別し、一部のデータは人手でも検証した。このMobileWorldを用いて追加学習した「Qwen3-VL-8B-Instruct」（オープンソース視覚言語モデル）をMobileWorldBenchで評価。

　予測文を正確さ・完全さ・関連性の観点で採点した結果、既存手法と比較して最も高いスコアを獲得した。

　加えて、この世界モデルをAIエージェントに組み込んで、「AndroidWorld」で評価した。この評価では、世界モデルが操作候補ごとの未来の状態を予測し、AIエージェントが予測を基に実際に実行する操作を選択する。

　この結果、今回提案した世界モデルを組み込まないベースラインとなる手法ではタスク成功率が46.9％だったのに対し、組み込んだ場合の成功率は54.3％と大きな性能向上を達成した。