NTT、スポーツの試合などを「まるごとリアルタイムに配信する」伝送技術

NTTは、「競技空間をまるごとリアルタイムに日本国内はもとより世界へ配信する」ことを目指した映像等の伝送技術「イマーシブテレプレゼンス技術Kirari!」の研究開発を推進すると発表した。

選手の映像・音声のみならず、選手の置かれた空間や環境の情報を伝送し、伝送先においてプロジェクションマッピング技術で、音とともに3D再現する技術。独自の次世代映像圧縮規格（HEVC）などと、新たに開発に着手した高臨場感メディア同期技術「Advanced MMT」を組み合わせて実現するとのことで、2020年に向け、まず2015年度中に国内のスポーツ大会の遠隔ライブ観戦トライアルの実施を目指すとしている。

3Dホログラフィックやプロジェクションマッピングを活用し、スポーツの試合をリアルに中継（NTTではこれを「イマーシブ中継」と呼んでいる）。例えばサッカーの試合を体育館で再現したり、憧れの選手との競争や過去の自己ベストとの対決したりといった活用を想定しているという。

Kirari!の技術要素は、NTTがこれまで推進してきた次世代映像圧縮規格 H.265/HEVC、音の情報を歪みなく圧縮するロスレス音声符号化技術MPEG-4 ALSなどの音響技術に加え、新たな研究開発テーマとなる超高臨場感メディア同期技術「Advanced MMT」の3つから構成される。

Advanced MMTは、従来のMMTが持つ強みである絶対時間による映像・音声の同期に加え、競技を再現するために必要な構成要素の情報も伝送し同期再現するものだと同社は説明。被写体を実物大で伝送しつつ、被写体以外は伝送先のサイズにフィットした情報を伝送し同期再現することで、「平面の映像で味わえる臨場感を遥かに超える形で、あたかも目の前で競技が行われているように見えることを目指した」という。

例えば、サッカー競技を体育館に転送する場合、スタジアムとのサイズの差異は明らかで、照明・音響の設備も全く異なる。この問題に対しては、以下の（1）～（3）のアプローチによって、あたかも目の前で競技が行われているように見えるようにしたという。

（1）選手等の被写体は、座標・形状を競技会場でリアルタイムに計測し、映し出すべき被写体を実物大で切り出して伝送

（2）被写体以外の映像・音響空間・照明情報などは、Advanced MMTによって、伝送先の環境、再現空間の情報（例えば、横幅10m、奥行き5m、高さ5m、スピーカ5.1ch、プロジェクターは4Kが4台、照明機器は5つ、等）に基づき、自動的に再構成するための情報を算出

（3）伝送先では、まず伝送先のサイズにフィットした被写体以外をプロジェクションマッピング。次に被写体を、別のプロジェクターで、三次元的に浮かび上がっているように射影。さらに、音響空間を伝送先のスピーカ数で表現

これらにより、観戦者には、あたかも目の前で競技が行われているように見えると説明。今後は、リアルタイムに被写体の身を切り出すことや、照明の効果的な自動演出などの技術課題の解決に取り組むことで、よりリアルを共有できる世界を実現していくとしている。

なお、これらの要素技術については、2月19日～20日に開催するNTT R&Dフォーラム2015において、体感できるようにするという。