＜NHK技研公開＞ハイブリッドキャストでスマートスピーカーとも連携／8KもVRも統一する『ダイバースビジョン』構想

NHK放送技術研究所が各種研究成果を一般に披露する「技研公開2018」が、5月24日（木）から5月27日（日）まで開催される。これに先立ち、プレス向けプレビューが行われた。本稿では、ハイブリッドキャストによる放送と通信の融合の進化や、番組制作へのAI活用などについてレポートする。

■“8Kの次”を考える時期に

NHK技研の黒田徹所長は、今年12月から新4K8K衛星放送がいよいよ始まることなどに触れつつ、ひとつの区切りのタイミングに来ているとコメント。 “8Kの次” を考える時期に来ているとし、今回の技研公開では8Kだけでなく、放送の未来像についての研究展示を行っていると述べた。

また、今年2018年度を起点に2020年度までの3カ年計画を策定。より実物感の高いコンテンツを届けるための技術「リアリティーイメージング」、インターネットを活用してユーザー体験を向上させる技術「コネクテッドメディア」、AIによって効率的に番組を制作する「スマートプロダクション」を大きな柱に掲げ、これらに関する様々な技術を技研公開で展示するとともに、2030〜2040年ごろの放送技術の未来像についての提案も行うとした。

「リアリティーイメージング」については、別項でレポートしているように8K関連の様々な展示を実施。そして「コネクテッドメディア」で大きくアピールしているのが、ハイブリッドキャストの進化だ。技研公開にあわせて発表した「ハイコネ・ライブラリ（Hybridcast Connect Library）」（関連ニュース）だけでなく、様々な活用法をデモしている。

展示にはNHKだけでなく民放各社も参加。朝日放送テレビが高校野球をハイブリッドキャストで4K配信し、放送の2Kと好みによって切り替えて視聴できることをデモするなどしている。

テレビ朝日はスマートスピーカーとの連携をデモ。ハイブリッドキャストをIoTデバイスとの連携にも活用することで、番組視聴を中断することなく「アレクサ、番組でやっているコレを注文して」などのような音声指示が可能になるという技術デモを披露していた。

IoTデバイスとの連携はフジテレビ/仙台放送も展示。音声認識技術を使い、声でクイズ番組参加できる音声参加型番組のデモを行っていた。

■8K/裸眼3D/AR/VRも統一的なフォーマットで扱う『ダイバースビジョン』

AIを活用する「スマートプロダクション」のひとつが、白黒映像の自動カラー化技術。大量の番組映像を教師データとして学習させ、色推定、色修正、色伝播の3つのニューラルネットワークを使って白黒映像をカラー映像に自動変換するという。なお、本技術では映像の一部のみを作業者が指定してカラー化することも可能。全自動で色合いがおかしかった場合に一部を修正するなどといったことができるようにもしている。

この技術によって、カラー化にかかる作業時間を大幅に削減。従来、白黒映像をカラー化するためには専門家が1フレームずつ人手で着色するしかなく、数秒の映像をカラー化するだけでも数日を要していた。これに対し、本技術を活用することで、5秒の白黒映像のカラー化にかかる作業時間を30秒〜5分程度にまで短縮できるという。

また、AIの音声認識を利用した音声書き起こしシステムも開発。取材映像の音声をリアルタイムに認識し、書き起こした結果を簡単に参照・修正できるインターフェースを開発したとのことで、より迅速な番組制作を行えるようにするという。


このほか、さらに未来の視聴スタイルも提案。「我々が子供の頃は、動画といえばテレビしかなかったが、今はスマホやヘッドマウントディスプレイなど様々なデバイスがある。テレビを見ていて気になったものをスマホやパソコンで詳しく調べたり、ヘッドマウントディスプレイを装着すれば番組のコンテンツを360度映像で見られるなど、放送も多角的にコンテンツを楽しんでもらえるようにしないといけない」（黒田所長）とし、コンテンツやデバイスの種類に依存しない統一的なフォーマットでの放送『ダイバースビジョン』という概念を提唱した。

このダイバースビジョンでは、上記のようなデバイスの違いだけでなく、8Kや裸眼3D、AR・VRなどといったコンテンツの違いにも依存せず、同一のコンテンツが、利用する機器の仕様や視聴環境にあわせて適応的に再生されるとのこと。放送の高度化やインターネット通信網の普及が進むことで、2030〜2040年頃には、屋外や自動運転中の車内、パブリックビューイング会場など、場所を問わずダイバースビジョンを楽しめるとした。