NHK放送技術研究所が最新の研究開発成果を一般公開するイベント「技研公開2024」が、5月30日（木）から6月2日（日）まで開催される。これに先立ち、本日5月28日にプレス向け公開が行われ、様々な最先端技術が披露された。本稿では、その場にいるような世界を体感できる「イマーシブメディア」に関連する展示を紹介する。

■3次元空間でニュースを探せる「ARグラス型ニュース提示システム」

ARグラスが普及する時代を見据えた、多用なコンテンツを3次元空間へ提示する情報空間デザインの研究のひとつが、ARグラスを用いて3次元空間にニュース記事を提示する「ARグラス型ニュース提示システム」。

ARグラス内の3次元空間に多数のニュース記事が閲覧できるマップが表示され、気になるニュースを指でタップすることで詳細を閲覧することが可能。これにより、スマートフォンなどでは一度に得られる情報量に限りがあるところ、より多くの情報を探索、閲覧することができるとしている。

3次元空間に表示されるニュースマップは、ニュース記事の特徴を抽出する自然言語処理によって、関連性の高いものが互いに近くに配置されるよう自動生成される。加えて、新着ニュースほど目に付きやすい高さに配置されるので、注目度の高い記事がいち早く見つけやすい仕様となっている。

実際にデモを体験してみると、指1本のタップ操作でニュース記事の展開からページ送りまでが可能。気になるニュース記事を見つけた際は指でつまんで自身に近くに寄せるなど、各ニュースの位置変更も自在に行うことができた。

さらに、隣にいるユーザーとニュースマップを共有することも可能。複数のユーザーから同じ場所に同じ情報が見えるよう提示することで、特定のニュースを指し示すことやニュースを起点としたコミュニケーションが容易になるとアピールしている。

本システムの担当者によれば、今後はユーザーの好みに合わせた親和性の高いニュースを提示するパーソナル機能の採用を検討しているとのこと。また長期予定として、2026年度までにコンテンツの推薦システムを試作・評価すると共に、AR技術が日常に溶け込む時代を想定して「実空間と調和した情報の提示方法」を検討していくとのことだ。

■進化し続ける「ボリュメトリック映像制作支援技術」

NHKは、多視点カメラを用いて被写体の3次元形状や質感を取得し、フォトリアルなボリュメトリック映像を制作する「メタスタジオ」を開発している。今回の技研では、それら映像制作を支援する「ボリュメトリックモニター」や、映像をリアルタイムで描写する技術など、現行ボリュメトリック制作の課題に向けた技術を紹介している。

ボリュメトリックモニターは、制作課題の1つである「共演者やセットがないため演技しづらい」を解決するべく開発された、過去に撮影された共演者映像をリアルタイムで提示する「送り返しモニター」。他の出演者との合成映像をスタジオ内に投影することで、場所や時間を隔てた共演を実現する。

仕組みとしては、人物の3次元的な姿勢を推定する専用カメラをもとに、撮影中の出演者と、過去に撮影した共演者それぞれの多視点映像の中から最適なアングルを選択し、それらを合成することで「送り返し映像」を作成。その映像をプロジェクターでスタジオ内に投影することで、共演者との視線合わせや映像合成が容易になる。担当者によれば、本技術はその場にいない共演者との演技合わせのみならず、二次元キャラクターとの映像合成などにも活用できるとのことだ。

また、現在のボリュメトリック映像は映像制作の基幹としては品質不足、使いづらい、といった課題を受けて、より高画質で汎用的な高速描画を実現する「実時間描写処理」も紹介している。

新たに、ボリュメトリック映像と仮想視点の3次元的な位置関係に応じた情報選択技術、およびフォトリアルな表現に対応した実時間描写技術を開発。メタスタジオで取得した被写体の豊富な情報から仮想視点に応じた情報の取捨選択を行い、それらを実時間で自由視点・再証明を施すことで、HMDやタブレット、ディスプレイなどさまざまなデバイスに提示する。

これまでメタスタジオで取得した情報は情報量が大きく、実時間で自由な仮想視点での視聴が困難であったが、これら技術を活用することで視聴者はより自由な仮想視点の選択が行える。今後はボリュメトリック映像のさらなる高品質化を図るとともに、番組制作への応用を通して実用的なシステムを開発していくとのこと。

■仮想空間で自由に動ける “音デザイン” 「イマーシブメディア用音響制作ツール」

イマーシブメディアにおける音響制作ツールの紹介では、仮想空間でのユーザーの自由な動作に対応可能な音響技術が披露。本技術では、人の声や動物の鳴き声といった音声信号と、位置や向きなどの情報を記録した音響メタデータを組み合わせた「音声オブジェクト」を用いてコンテンツを制作し、オブジェクトベース音響で再生する。

これにより、ユーザーの聴取位置によってユーザーと音声オブジェクトの位置や向きの関係が変わることで、音の聞こえ方が変化。ユーザーが仮想空間内を自由に移動しても、適宜ユーザーの聴取位置にあった音声が聞こえるようになる。

音響メタデータには、コンテンツを構成する声や音楽などの音声信号の組み合わせや再生位置、音量などが含まれる。仮想空間における音声オブジェクトの位置・向き、放射特性などをデザインし、6DoFに対応した音響メタデータの構造にのっとってXML形式で記述する。

音響メタデータの構造は厳格なルールに基づいており複雑であるため、意図通りに正しく記述できているかを検証するツールも開発。メタデータ記述上のエラーを提示してくれる「音響メタデータエディター」や、音声オブジェクトの位置や向きを可視化する「音響メタデータビューワー」などが紹介されていた。

さらに、音響メタデータで制作した6DoF音響コンテンツを再生・検聴できるイマーシブメディア用音響レンダラーも開発した。音声オブジェクトを仮想空間内に配置し、ユーザーの位置や向きを基準として再生音をレンダリングして出力することで、ユーザーは仮想空間内の好きな場所でヘッドホンでコンテンツを楽しむことができる。

これらの技術を活用したデモも実施。デモブースにはいくつかのキャラクターパネルが配置されており、そこにHMDを装着したぬいぐるみが近づいていくと、徐々にキャラクターの話し声が聞こえてくる様が体験できる。今後の予定としては、制作者のアイデアを反映するための「演出用音響メタデータ」の開発や、音響制作ツールの高度化を進め、2030年頃までの実用化を目指すという。

■イマーシブメディアが実現する未来の番組体験やバーチャルライブの体験デモ

懐かしの造形教育番組『できるかな』をモチーフに、2023年を想定した未来の番組体験が味わえる体験型展示『体感！できるかな2030』では、さまざまな角度から撮影した被写体の画像データから3Dモデルを生成するボリュメトリックキャプチャー技術や、3DCGを用いた没入感の高い番組空間を、HMDや迫力ある大画面映像、22.2ch音響で楽しむことができる。

体験デモでは、冒頭にHMDを装着してコントローラーを手に、3次元空間内に構築された『できるかな2030』を視聴することが可能。一部カメラ固定のシーンを除き、コントローラーによる操作や顔の向きによって番組の3次元空間内を任意に移動することでき、登場キャラクターたちによるパフォーマンスを自由な視点から楽しめる。その後は前方に構える大画面スクリーンで番組を視聴することも可能だ。

番組の音響には、上層部に9ch、中層部に10ch、下層部に3ch、LFE用2chによる22.2ch構成のサラウンド音響システムを採用する。使用音楽はNHK局内の音楽スタジオにて、22.2chサラウンド用の音楽録音が行われ、さらにコンテンツを上映する大空間スタジオにミキサーを設置し、録音・収音した全てのサウンド素材を22.chサラウンドミックスしたのだという。

「体感！ 自由視点イマーシブライブ」では、ボリュメトリックキャプチャー技術や22.2ch音響のバイノーラル再生技術によって3次元空間を構築したアーティストのバーチャルライブの体験が可能。HMDを装着してコントローラーを操作することで、ライブ中のアーティストの近くで迫力ある演奏を楽しむことや、ステージから離れて会場全体を眺めるといった自由なが楽しみ方を体感できる。

技研公開2024は、5月30日（木）から6月2日（日）まで一般公開される。