＜NHK技研公開＞エリアごと別々に解像度やフレームレート制御できるイメージセンサー公開。地デジでの4K放送実現も

NHK技術研究所は、放送技術に関する研究成果を一般公開する「技研公開2023」を6月1日から開催する。一般公開に先立ち、メディア向けの先行体験会が開催され、4Kや8K、裸眼3Dなど様々な技術が披露された。本稿では、1つの映像の各領域ごとに解像度やコマ数を変更できるイメージセンサーなど、NHK技研が「イマーシブメディア」とカテゴライズした、コンテンツの没入感を高める技術についてレポートする。

■選手の動きは『高速モード』で日陰は『低照度モード』。シーン適応型イメージング技術

例えば360度映像では、様々な動きや明るさの被写体が画面内に存在することになる。スポーツであれば動きの早い選手やボール、明るい日なたがある一方で日陰になっている部分もある…といった具合だ。

こうした撮影に対応するべく開発したのが「シーン適応型イメージング技術」。画面を272分割してエリア制御し、エリアごとに異なる解像度やコマ数が設定できるイメージセンサーが披露された。

例えば選手が映っているエリアは解像度を落とすかわりにフレームレートを上げる「高速モード」にし、日陰になっているエリアはフレームレートを落としてノイズ抑制する「低照度モード」、明るいエリアは電子シャッターをオンにする「高輝度モード」にするなどといった具合に、1つの画面内で異なる処理を適用できる。

現在は全体で960×960画素を16×17ブロックでエリア制御。64×64画素、60fps、露光時間1/60秒のモードを基本に、32×32画素、240fps、1/240秒の高速モード、64×64×64画素、60fps、1/240秒（電子シャッター）の高輝度モード、64×64画素、30fps、1/30秒の低照度モードをエリアごとに分けて制御できる。2024年までにイメージセンサーの高解像度化を進め、実用的な解像度の映像取得ができるシステムの開発を目指しているという。

■地デジ波で4K放送を実現

現在、4K放送はBSまたはCSの衛星波を利用して送信されているが、技研では地デジ波での4K放送実現を見据えた研究開発を行っている。今回の技研公開では、コーデックにVVCを用いたマルチレイヤー符号化技術によって、従来の地デジに比べて1.7倍の伝送容量を実現。4K番組と2K番組を地デジ1チャンネル分の帯域でそれぞれ2番組放送することが可能なことなどを紹介している。

会場では、8Mbpsの4Kレイヤーと1Mbpsの2Kレイヤーにサブコンテンツ的な1Mbpsの4Kレイヤーという3つのレイヤーを地デジ波で伝送するデモを披露。ここに通信も融合させ、もうひとつサブコンテンツ的な4Kレイヤーを送信するという活用方法を紹介している。マルチレイヤー符号化を使い、放送と通信を併用した8K映像の伝送も実証したという。

この技術を用いることで、地デジで4K放送を実現できるだけでなく、例えばサッカーであれば通常の中立的な放送に加えて、どちらか一方のチームの立場にたった映像や解説音声を2チーム分送信し、視聴者がリモコン操作するとワイプで表示できるようにする、といった使い方もできる。

■360度映像などをミリ波ワイヤレス伝送。400Mbps級を実現

番組コンテンツの伝送に関しては、ミリ波を用いた400Mbps級無線伝送技術も紹介。42GHz帯のミリ波を用いることでカメラのケーブルを無線化し、ケーブルの敷設が困難な場所でも、360度映像などデータ容量の大きいコンテンツの生中継を可能にするという。

実は同技術のベースとなるものは昨年の紅白歌合戦にて実践投入済み。そのときのミリ波4Kワイヤレスカメラは伝送容量が148Mbpsだったが、今回は送信機を小型化できるシングルキャリア変調信号を同一周波数で空間的に多重伝送するMIMO-SC-FDE技術を開発。ミリ波の広い帯域幅を用いることで、従来の約2倍となる400Mbps級の伝送容量を実現した。

この技術を用いることで例えば、お祭りの人混みや海中など、ケーブルが邪魔になるシチュエーションでも撮影可能に。今後は2025年までにさらなる高精細化に向けて700Mbps無線伝送技術の開発を目指すという。

また、イマーシブコンテンツの制作については、3次元空間オーサリングツールを開発中であることも紹介。マウスやゲームコントローラーを操作することで、ボリュメトリック映像や360度映像などのオブジェクトを3次元空間内に簡単に配置できるという。このように、クリエイターを支援する技術によっても、イマーシブなコンテンツの普及を図っていく。

そのほか、イマーシブコンテンツのデモについては、450インチの大画面スクリーンを正面と床の2面使って8K映像（正面）と4K映像（床）を上映する体験コーナーも用意。GLIM SPANKYの演奏を大画面と22.2ch音響で体験できるデモを展開している。

技研公開2023は、6月1日から6月4日まで一般公開。3日と4日はファミリー向けに海中VRなどの体験イベントも実施する。