NHK技研では、3次元空間に新たな視聴体験をもたらす「空間表現メディア」の実現に向けた技術の一つとして、AR（拡張現実）／VR（仮想現実）技術を活用した視聴スタイルの研究開発を進めている。

　AR／VR技術を活用したサービスイメージは、既存の技術を組み合わせて新たな視聴体験を提供する「By AR／VR」と、現状の課題を技術的に解決する「For AR／VR」の二つのアプローチで検討している。以下、それぞれのアプローチで進めている研究開発内容を紹介する。

空間共有サービス（By AR／VRアプローチ）

　By AR／VRアプローチでは、AR／VR技術による映像表現がもたらす新たな体験が持つ意味を考えることで、メディアがどのような価値を提供すべきであるかという目的から考えることを重視している。AR／VR技術の特徴である高い空間表現力を用いることにより、視聴者が出演者や遠隔地の人と、あたかも同一空間にいると感じられる将来の視聴スタイルを提案した。

　このコンセプトに基づき番組視聴で、視聴者がバーチャルまたはリアルに同一空間に存在し、番組のコンテクストを共有することを「空間共有」と定義して検討を進めている。

　放送には、同報性・同時性のあるコンテンツによって共通の体験を生み出すという大きな特徴がある。そこで同一空間でコンテクストを共有するという本質的な体験を提供することにより、家庭のリビングやライブ会場、スタジアムでの一体感と同等以上の効果を生み出したいと考えている。

　2019年には、新しいテレビ視聴サービスとして、AR技術を活用することで、出演者があたかもテレビ画面から出てきたかのように身近に感じながら、離れた場所にいる家族や友人と一緒にテレビを視聴する空間共有サービスのコンセプトを示している。そして、ARグラスやタブレット型端末などを通して見る空間に、出演者や別の場所の家族・友人、過去の自分の3次元映像が等身大で合成表示されることによって、空間を共有しながらテレビを視聴するスタイルを、NHK技研公開2019やIBC2019で展示した。

　20年には、実際に遠隔地の人と同じ空間でコンテンツを視聴しているように感じられる空間共有コンテンツ視聴システムを開発した。

　本システムでは、例えば、ヘッドマウントディスプレイ（HMD）で表示した水族館のVR映像内に遠隔地にいる友人の3次元映像を合成し、まるで遠隔地の友人が自分の隣に座っているように感じながら、水族館のVR映像を楽しむことができる。遠隔地にいる友人の3次元映像は、距離センサー付きのカメラで撮影され、通信でリアルタイムに伝送される。

　同様に、視聴者自身の3次元映像も友人に伝送され、友人が見ている水族館のVR映像に合成表示されるため、会話や身振り手振りを交えたコミュニケーションを取りながら、同じコンテンツを楽しむことができる。さらに、カメラ付きのHMDを使うことで、自分の部屋にAR技術で合成された出演者の3次元映像を遠隔地にいる友人の3次元映像と同時に表示することができ、友人とコミュニケーションを取りながら視聴することが可能となる。

　今後、本システムを使って、離れた場所で一緒に同じコンテンツを視聴する場合に有用な提示方式やコミュニケーションを支援する技術などの研究開発を進め、将来の新しい視聴スタイルの実現を目指していく。本システムはオンライン開催となったIBC2020で紹介した。

高精細VR映像（For AR／VRアプローチ）

　For AR／VRアプローチでは、高精細な全天球映像を活用して、テレビの枠にとらわれず視聴者が見たい方向の映像を提示することで、従来のテレビでは体験できない高い没入感と臨場感を兼ね備えた視聴体験の実現を目指している。

　VR映像をHMDで体験するメリットの一つに、あたかもその場にいるかのような没入感が挙げられる。しかし、現行のHMDは8K放送などと比べると表示解像度が低く、臨場感のある表現のために十分な性能とは言い難い。将来、高精細なHMDや、個人視聴用のドーム型ディスプレイなどが実現することで、これまでに経験のない新たな映像視聴を楽しめるようになると考えられる。

　20年には、高精細なVR映像を表示して評価実験をするために、円筒型のディスプレイシステムを開発。湾曲させた4K解像度のOLEDパネルを水平方向に5枚連結することで、10K×4Kの解像度と、約200度の広視野な映像提示を実現し、従来のVRシステムでは不可能であった視聴環境を実現した。

　本システムの解像度は、ヒトが目で実世界を見ている状態に近い体験の実現に向け、視力1.0のヒトが画面の画素構造を検知できる限界となる30cpd（cycle per degree）相当の画素密度を想定している。視野角については、頭を動かさずに見ることができる範囲として、中心視野から周辺視野まで含めた水平視野角200度をカバー。本システムのコンテンツとして表示する高精細VR映像は、3台の8Kカメラを放射状に並べて撮影し、撮影方向の異なる映像を統合（スティッチング）して制作した。

　今後、このディスプレイシステムを用いて、解像度や視野角など、臨場感のあるVRシステムの要求仕様を明らかにするための認知的な評価実験を予定している。

　こうした実験により得られた知見は従来のHMDに加えて、家庭で高精細なVR映像の個人視聴を楽しむことができるドーム型ディスプレイなどの新たな表示形態を実現していく際、要求条件にもつながると期待できる。

　本システムは、NHKプラスクロスSHIBUYA「放送のミライ展」において、10月3日から11月23日まで展示している。