指先だけでアバターを操作し、触覚も表現する仮想現実（ⅤR）システムの研究開発が進んでいる。

　自分自身を表す「セルフ」と操り人形の「マリオネット」を掛け合わせた「セルフリオネット」として2023年から共同研究に乗り出したのが、奈良先端科学技術大学院大学情報科学領域の平尾悠太朗氏と、東京大学大学院情報理工科学系研究科の橋本健氏（23年当時、現在はソニーコンピュータサイエンス研究所に所属）だ。

　セルフリオネットは、平尾氏の視覚情報から触覚を得る「疑似触覚」の研究と、橋本氏のハードウエアを使った力覚の研究を組み合わせ、疑似触覚のより大きな変化を可能にしたものだ。

　20年から3年間、東大大学院情報理工科学系研究科の博士課程で、同じ研究室に所属していた2人。動きと力の関係を変えるハードウエアの研究をしていた橋本氏が、平尾氏のセルフリオネットの構想に共感。共同研究が始まった。

　平尾氏が疑似触覚の研究に取り組んだのは、1999年に公開されたSF映画「マトリックス」の存在が大きい。「マトリックスの世界を作りたくて研究を始めた。VR技術は視覚も音もリアル。でも、触覚にリアルさがなかった」。

　橋本氏はロボット作りを目指して東大に進学。人を知ることがロボット作りにつながるという考えのもと、ハードウエアを使って人間とコンピューターの関わりを研究してきた。

非対称マッピング採用

　VRシステムでは、体の動きを鏡のようにアバターに反映する1対1マッピングが主流。ただ、身体障害者が操作したり、形状の異なるアバターを操ったりする場合、1対1マッピングにならず動きが制限される。触覚も、表現できる可動範囲や重さがハードウエアに依存し、制限されがちだ。

　一方、セルフリオネットは非対称マッピングを採用。身体的特徴や空間に制約されずに指の力だけでアバターを動かせる。

　アバターを動かすのはマウス型の入力装置で、左右の手のひらを固定して使う。人差し指の動きに合わせてアバターの手が動き、親指で足を前後左右に、小指でつかむ動作を行う。VR空間内の物体の重さや硬さ、表面のごわつき感だけでなく、水中や坂道なども感じられる。

　触覚は、運動方程式を活用したソフトウエアで入力装置を制御し、力の押し返しで表現。橋本氏は「ソフトウエアで解決できる問題になった」と触覚表現の進歩を語る。

　セルフリオネットで触覚を感じるには視覚情報も必要。指にかかる腱や筋肉といった入力装置からの情報と視覚からの情報とを脳内で関連付けて認識するためだ。

　今後は、体に特徴がある操作者が使ったり、物理的なロボットを操作したりする場合などに、操作者の自己認識に変化が表れるかどうかも検証したい考えだ。平尾氏は「できないことができるようになったとき、自己をどう再設計するのか。活動的になるなど、良い変化につながるか検証したい」と話す。

　橋本氏はセルフリオネットを「肉体から解放する手段」と説明する。新しい体と感じられるように、アバターをより直感的に動かすための課題に向き合う。

　セルフリオネットは、幕張メッセ（千葉市美浜区）で13～15日に開催する放送機器の国際見本市「Inter BEE 2024」に出展。システム改良につなげるために、多くの来場者に体験してもらうことを目指す。

◆　◆　◆

　映像などのコンテンツ制作に、人間の「五感」を再現、活用しようとする最新技術が広がりつつあります。五感と技術の融合に挑む企業や大学を5回の連載で取り上げます。