＜NHK技研公開＞ハイブリッドキャストでテレビと冷蔵庫が連携。東京五輪に向けスポーツ中継にも新技術

NHK放送技術研究所が各種研究成果を一般に披露する「技研公開2017」が、5月25日（木）から5月28日（日）まで開催される。これに先立ち、プレス向けプレビューが行われた。本稿ではハイブリッドキャストの進化や裸眼3D、AI技術活用、2020年の東京オリンピック・パラリンピックへ向けたスポーツ向け放送技術などの展示をレポートする。

■料理番組を見ると冷蔵庫の中身もスマホに通知

放送と通信を連携させるHybridcast（ハイブリッドキャスト）の展示では、テレビメーカーを問わずハイブリッドキャストを利用できるHybridcast Connect（ハイブリッドキャストコネクト）を拡張することで可能になる、テレビとスマートフォン、IoT機器連携をデモ。

ハイブリッドキャストコネクトとは、ハイブリッドキャストの端末連携サービスに用いるスマホのアプリ用機能。ハイブリッドキャストでテレビとスマホを連携させる際に、以前はテレビメーカー各社ごとにスマホアプリをインストールする必要があったが、これを共通化してテレビメーカーを問わずにひとつのアプリで利用できるようにした。

今回の展示では、この機能を拡張することを提案。例えばウェブ閲覧中に気になった情報があった際に、そのサイトのURLをハイブリッドキャストコネクトアプリで検索すると関連したテレビ番組やVODを表示できるなど、これまでのようにテレビ起点ではなく、スマホ起点で放送やVODを試聴するための導線を構築するといったことをデモしている。

また、テレビとスマホだけでなくIoT家電との連携も提案。料理番組を視聴中にレシピをスマホで確認できるだけでなく、その料理に必要な食材が冷蔵庫に入っているか否かもスマホで確認できるといった使い方や、ハイブリッドキャストのデータを利用してロボットが一緒に体操するなどといったデモも披露されていた。

加えて、車載機器との連携もデモ。テレビがスマホをハブにカーナビなどと連携することで、以前に視聴した番組に出てきた飲食店の近くを移動中にその情報をサジェストするなどといった活用法も提案していた。

■裸眼3D技術も着実に進化

裸眼3Dでは、レンズアレーを用いたインテグラル立体ディスプレイの進化をデモ。4Kディスプレイ4枚を貼り合わせてそれぞれの映像を合成することで、立体映像の多画素化を実現する並列型インテグラル立体ディスプレイを展示している。

また、4Kディスプレイ搭載スマホでの裸眼3Dも展示。スマホのディスプレイにレンズアレーを装着しての表示デモを体験することができる。

インテグラル立体映像については、多視点ロボットカメラによる撮影技術も発表。空間領域を従来よりも高品質に撮影できる技術を開発したという。

多視点カメラを用いた従来の立体撮影では、水平方向一列にカメラを配置していたため垂直方向の視差が得られず、立体像に欠損が生じることがあったとNHKは説明。加えて、これまではカメラの画角が固定されており、被写体の動きに応じてすべてのカメラを同時に制御して立体像の再現領域を撮影することができず、立体像の品質が定価するという課題もあった。

そこで今回の手法では、ロボットカメラを正六角形状に6第とその中心に1台配置し、中心の1台のカメラだけを操作して、その他のカメラを自動的に被写体へ追従させて撮影。被写体の一夜中心のカメラで撮影された画角に応じてインテグラル立体テレビの再現領域が規定され、適切な画角で撮影される7台の変えmらの映像から、垂直方向の欠損が少ない高品質な3次元形状モデルを生成できるとする。そしてこのモデルから、実際には撮影していない角度からの映像も計算処理によって生成することができ、撮影対象が移動するスポーツなどの立体コンテンツの制作が可能になるとしている。

さらに、インテグラル立体映像を用いた「飛び出す絵本」の体験展示も展開。タッチパネルのピンチ操作で立体像の角度や大きさを変えたりしながら、クイズに答えるデモを体験することもできる。

そのほか、電子ホログラフィーを用いての裸眼3Dや、光フェーズドアレーを用いた裸眼3Dの研究を行っていることも紹介。レンズアレーが不要なインテグララル立体ディスプレイを目指し、光ビームの方向を自在に制御できる光フェーズドアレーの研究を進めていることなどを紹介していた。

これら裸眼3Dの実用化時期などについて、NHK技術研究所 所長の黒田徹氏は「実際のロードマップはまだ決まっていない」とする一方で、「2030年ごろに何らかの形で立体テレビを導入できればと思っている」とコメント。「究極の目標はテレビ（で裸眼3D）だが、例えばスマホなどセカンドスクリーン的なものも含めて様々な可能性を考えている」と述べた。

■2020年に向けてスポーツ中継にも新技術が続々

2020年の東京オリンピック・パラリンピックを見据え、スポーツ中継に活用する新技術も多数展示。スポーツ実況音声をロボットが自動生成する技術や、多視点映像や360度映像をインタラクティブに試聴可能なネット配信技術、ボールの軌跡をリアルタイムにCG合成する技術などのデモを披露している。

実況音声の自動生成においては、オリンピック放送機構が提供するリアルタイム競技データを利用。同データから、誰が、いつ、何をした、といった情報をリアルタイムで判別し、「○○選手のサービスエースが決まって30対0で日本がリード」などのような実況音声を合成音声で自動発話させる。

NHKでは、視覚障害者もスポーツ中継を楽しめるようにする以外にも活用を検討。テレビ放送しない競技の映像に本技術で実況をつけ、ネットで配信するなどといった活用も視野に入れている。2018年の韓国・平昌冬季五輪においていくつかの競技で実際にこの試みを行うことを検討しているとのことだった。

実写映像とCGのリアルタイム合成は「三次元被写体追跡スポーツグラフィックスシステム」と名付けて展示。機械学習を利用した被写体追跡手法によって、球技のシーン解析に必要とされるボールの三次元一を高精度かつリアルタイムに算出し、正確なCGの合成を実現したという。また、処理映像のフレームレートも向上させ、従来よりも早い動きのボールを追跡できるようになった。

また、これと似たようなCG合成をもっと手軽に行える「実空間センシングによるスポーツ中継向け新映像表現技術」もデモ。こちらでは計測用カメラとレーザーセンサーでボールの軌跡や被写体情報を取得する。上記の「三次元被写体追跡スポーツグラフィックスシステム」よりも取得する情報が少ないが機動力が高く、例えばゴルフのセカンドショットなどでも撮影できるという。