パナソニック ホールディングス（HD）とパナソニックR&Dカンパニーオブアメリカ（PRDCA）は、カリフォルニア大学バークレー校、エヌビディア、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者らと共同で、指先の触覚に即応しながら器用な両手作業を行うロボット操作AI（人工知能）「Tactile-Reactive Dexterous Manipulation（T-Rex）」を開発した。

　T-Rexは、視覚と言語の情報からロボットの動作を生成するVLA（視覚言語行動）モデルに指先の触覚情報を統合したもので、接触状態の変化に応じて動作をリアルタイムに補正する。

　実環境で繊細な力の制御と柔らかい物体を扱う12種類の作業で評価した結果、平均成功率65％を達成し、既存手法を30ポイント上回り世界最高性能を達成した。

　研究成果は、11月9～12日にアメリカ・オースティンで開催されるロボット学習分野の国際会議「Conference on Robot Learning（CoRL）」で発表する。

　T-Rexは、低頻度で行う「視覚・言語に基づく動作生成」と、指先から得られる触覚に応じた「高速な動作修正」を一つのモデルに統合している。

　視覚と言語を処理する動作生成モジュールが約5Hzで動作の大枠を生成する一方、触覚を処理する動作修正モジュールが約20Hzでリアルタイムに接触状態を捉え、動作を細かく補正する。

　これにより、遅延が大きい画像認識を毎回やり直すことなく、接触中の滑りや押し込み過ぎなどに素早く対応できる。

　学習データとして、研究チームは200種類を超える日用品と22種類の基本動作を組み合わせ、7700件超、計100時間におよぶ両手ロボット操作データを収集した。

　各データには、頭部・手首カメラの映像、ロボットの状態と動作、10本の指先の触覚センサーを通じて得られる力・変形情報、自然言語の指示が同期して記録されている。

　T-Rexは、まず2万2889時間の人の一人称視点映像から幅広い視覚・動作の知識を学習し、次にこの触覚付きデータでロボット固有の接触動作を学習（中間学習）する。その上で、最後に作業ごとに約100件の実演データでファインチューニングする。

　ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の実環境タスクで評価した結果、T-Rexは平均成功率65％を達成。

　これまで最も高性能とされてきた比較手法の35％を大きく上回った。触覚情報を除いた場合の平均成功率は42％にとどまり、触覚情報と高速な反応機構の有効性を確認した。

　人が作業する場合、視覚だけでなく、指先で感じる力や滑り、変形に応じて動きを瞬時に調整する。一方、従来のVLAモデルは主にカメラ映像に依存し、触覚を利用する場合でも静的な情報として扱うことが多いため、細かな力加減や接触状態の変化が求められる作業への対応が困難だった。

　触覚情報を含む大規模な学習データが乏しいことや、視覚・言語モデルの更新頻度が低く、高速な触覚反応に必要な制御頻度との間に隔たりがあることも課題となっていた。