ニュース
HOME > ニュース > AV&ホームシアターニュース
公開日 2019/05/28 20:12
情報を共有できるようなメディアへ
＜NHK技研公開＞テレビを超えた「未来のメディア」とは？ 3D／AR／VRなど「8Kの次」の技術
編集部：平山洸太
NHK技術研究所が研究・開発している最先端技術を一般公開するイベント「技研公開2019」が5月30日から6月2日まで開催される。これに先立ってプレス向け公開が行われ、8KやAR・VRを始めとする様々な最新技術が披露された。本稿では、3D・AR・VRに関連した展示について紹介する。
■情報を共有できるような未来のメディアへ
NHK技研の三谷 公二所長は今回のテーマ「ワクからはみ出せ、未来のメディア」を挙げ、「例えばテレビの画面から飛びだすような映像だったり、テレビの枠を飛び出して映像を提供できる3Dテレビ。それからAR・VRの技術を中心として、1年の成果をご覧いただきたいと思っている」とコメント。
従来は白黒からカラー、ハイビジョン、4K/8Kといった2Dでの高品質化、そして文字多重放送、データ放送、Hybridcastといった高機能化という2つの軸で放送は進化してきたが、今後は「表現空間の拡張・共有」を目指していくという。そして8Kスーパーハイビジョンをベースに、ARやVRなどを進化させたことで、「情報を伝えるだけでなく共有できるような未来のメディア」が可能になるのではないかと述べた。
展示については前年と同様に、より実物感の高いコンテンツを届けるための技術「リアリティーイメージング」、インターネットを活用してユーザー体験を向上させる技術「コネクテッドメディア」、AIによって効率的に番組を制作する「スマートプロダクション」を大きな柱に掲げ、これらに関する様々な技術を展示している。
■2030-40年ごろのメディア技術 “ダイバースビジョン”
先述した「表現空間の拡張・共有」を可能にするものとして、技研が2030-2040年ごろを想定する放送技術 “ダイバースビジョン” というものがある。これは従来の2D映像だけでなく、3DテレビやAR、VRなどのコンテンツをそれぞれのデバイスで楽しめるようになるというもの。入場してすぐのエントランスには、このダイバースビジョンに関連した展示が大きく展開されていた。
まず目に入るのが、ヘッドマウントディスプレイとドーム型ディスプレイのモックアップ展示。将来的には、高精細なVR映像をこれらのデバイスを使用して楽しむようになるのではないか、とNHKでは予測する。今回の技研公開では、多くの方がこのイメージを体感するため、高さ4m×開口11mで180度の円形スクリーンに映像が投影された。
映像は3台の8Kカメラによって撮影した12K解像度となっており、縦置の4Kレーザープロジェクターを8台使用して投映される。上下それぞれ7chのスピーカーが30度間隔で設置され、さらに天井には1chのスピーカーを用意することで「没入型音声を再生」すると説明されていた。
実際に映像を見てみたが、スクリーンが大型なことに加えて、左右の視野を映像が覆うため、没入感が高かった。コンテンツについては、船に乗っているシーン、オーケストラを中央から見渡せるシーン、水族館のシーンなどいくつかの映像が用意されていた。
■ARを活用したテレビ視聴スタイル
大型スクリーンを抜けると、住宅のリビングを模した展示が出現。こちらでは、ARグラスを活用したテレビの視聴スタイルが紹介されている。従来のテレビでは出演者は画面の中に映っているだけだったが、ARグラスを利用することで、出演者がテレビを飛び出すことができる。場所を移動することで、様々な角度から見ることも可能だ。デモンストレーションでは番組「チコちゃんに叱られる！」から、キャラクターの「チコちゃん」が飛び出していた。
また、出演者が飛び出すだけでなく、離れた場所の家族をARグラスを通してリビングに登場させることも可能。こちらのデモでは、番組「みんなで筋肉体操」から武田真治氏がリビングに登場し、さらに単身赴任という設定の父親が横で一緒に体操をするという演出が行われていた。
■視点に追従するインテグラル3D映像
3Dテレビ関連では、特別なメガネを使わなくても自然な3D映像を見ることができるとする「インテグラル3D映像システム」が展示された。4月25日に発表されたばかりの新技術だ（関連ニュース）。
従来のインテグラル3Dテレビでは、視聴できる範囲が狭かったことが課題だったとのこと。今回の展示では、見ている人の目の位置を検出することで、視聴位置に応じた3D映像を広い範囲で表示できるとしている。具体的には、水平方向は従来比約3.3倍の81.4度、垂直方向は従来比約6.6倍の47.6度になった。
システムでは、ウェブカメラで瞳の位置を検出し、要素画素高速生成装置で視点に応じた要素画像を作成、それをレンズアレー（微小レンズ群を並べたもの）を用いたディスプレーで3D表示させる。視野角に加えて、画素密度の高いディスプレー（457.7ppi）と焦点距離の長いレンズアレー（2.0mm）を用いることで、3D映像を再生させる光線密度を向上させ（水平垂直ともに約2倍）、映像品質も向上させたという。
■将来の3次元映像表示デバイス
開発中の技術として、光の方向を制御する「光フェーズドアレー」、「スピン空間光変調器」という2つの技術が展示された。まず光フェーズドアレーは、機械的ではなく電圧を印加することによって、光ビームの出力方向と形状を制御することができるデバイスとなっている。
先述したインテグラル3D映像システムではレンズを用いて光の方向を制御していたが、光フェーズドアレーでは2MHzの高速偏向動作に対応することで、より奥行き範囲や視野を拡げることができるようになるという。現在は1次元方向での制御のみとなるが、今後は2次元で制御したいとのこと。また説明員によれば、「光フェーズドアレーで赤外線を照射し、それを読み取ることでスキャンを行うこともできる。実用化されるなら、表示デバイスより先に測定技術として使われるのでは」と話していた。
またスピン空間光変調器は、従来は印刷でしか作れなかったホログラフィーをディスプレイ状に表示させることを目指した技術。ホログラフィーを表示させるには微細なドットで高速切替を行うことが必要になるが、液晶などでは、1ドット10μm程度が限度。10μm程度でもホログラフィーは表示可能とはいうものの、視域は10度と狭くなってしまうという。今回は1μmというサイズでの白黒表示を実現したことで、広い視域をもたせることが可能になるという。
今回、微細な磁石を用いることで、電流によってON/OFF動作が行える「光変調素子（磁壁移動型光変調素子）」を設計・試作。短辺が1μmと小さいため電子顕微鏡を通して見ることになるが、実物も展示されていた。今後は、この技術を用いて、実際に表示させるデバイスを作ることが目標という。
■3DCG映像のリアルタイム生成技術
先述した3D映像を生成する技術についても展示が行われていた。ブースにはボルダリングの壁が設置され、実際に人が登っているところをモーションデータ取得用のカメラで撮影。これをPCで解析などの処理をした後、3Dデータ生成するというシステムだ。
さらにこの生成された3DデータをWi-Fiで伝送し、スマートフォンで表示。スマートフォンにはレンズアレーが貼り付けられており、3D映像を見ながら、視点を変更して見ることができるようになっていた。またリアルタイムのデータではないものの、テーブル型のインテグラル3D装置が展示されており、こちらもタブレットから操作することで自由な視点で見られるようになっていた。
関連した技術として、「スポーツ映像の状況理解技術」というブースでは、AIを搭載したロボットカメラを展示。サッカーにおいて、選手の方向やボールの位置をAIが状況理解することで、カメラワークを自動的に調整できる。またこのAIで生成したメタデータでセンシングを行い、3Dデータを作成することで、自由な視点から見ることのできるVR映像や、左目に3D・右目に実写の2D映像を流すことで3D映像も作れるという。
■3次元映像の奥行き表現技術
将来的に3Dで映像を放送するとなったとき、問題になることの1つが、奥行き表現をどうコントロールするかということだ。例えば「被写体の立体感を強調したい」「シーン全体をはっきりと見せたい」という製作者の意図があった場合、それを実現する方法として、スライダー状のコントローラーを用いた技術が開発された。
3Dテレビでは奥行の再現範囲に制約があるため、深い奥行きのシーンを再現するためには、この奥行きを圧縮する必要がある。全体的に自然な立体感を表現したい場合は全体的に圧縮するだけで済むが、例えば手前の立体感を強調したい場合は手前を広くし、奥を圧縮するといった制御を行う。この “奥行き圧縮パラメーター” をスライダーで制御することができる。
■スポーツを体感できる触覚インターフェース
VRやARといった視覚的なものに注目しがちだが、“触覚” についても研究が行われている。「スポーツの状況を体感できる触覚インターフェース」では、ユニバーサルサービスを想定し、触覚で競技状況を体感できるデモが展開されていた。
視覚に障がいがある方にとっては、卓球やテニスといった往復で行われるスポーツと違い、バレーボールなどのスポーツは実況だけでは状況が伝わりづらいという。また聴覚に障がいがある方にとっても、音ではなく振動で体感することで、より楽しむことができるとしている。
今回のシステムでは、映像からボールの位置を認識し、移動速度から衝撃の種類・強さなども生成。これによって得た振動を球体状のデバイスを触ることで、ボールのバウンド、アタックの瞬間など振動で体験することができる。球体はコートを模したテーブル上に、「選手」「ボール」を想定した振動を発するデバイスをそれぞれのチームごとに設置されている。またこの球体は側面が凹んでおり、ボールをアタックした瞬間などに凹むようになっている。例えば選手がボールをアタックすると片側が凹み、ボールを想定した方ではその反対側が凹む。
またボールの設定になっているものをそれぞれ両手で掴んでみたところ、目を閉じていてもボールがどちらのチームにあるのか、どちらのチームがアタックしたのか、ボールが地面に落ちたのかなどを直感的に感じることができた。さらに机にも振動子が設置されており、ボールが地面につくと机がリアルに振動したり、ネットは映像に合わせて揺れたりと、細かいところまで手が込んでいた。
■情報を共有できるような未来のメディアへ
NHK技研の三谷 公二所長は今回のテーマ「ワクからはみ出せ、未来のメディア」を挙げ、「例えばテレビの画面から飛びだすような映像だったり、テレビの枠を飛び出して映像を提供できる3Dテレビ。それからAR・VRの技術を中心として、1年の成果をご覧いただきたいと思っている」とコメント。
従来は白黒からカラー、ハイビジョン、4K/8Kといった2Dでの高品質化、そして文字多重放送、データ放送、Hybridcastといった高機能化という2つの軸で放送は進化してきたが、今後は「表現空間の拡張・共有」を目指していくという。そして8Kスーパーハイビジョンをベースに、ARやVRなどを進化させたことで、「情報を伝えるだけでなく共有できるような未来のメディア」が可能になるのではないかと述べた。
展示については前年と同様に、より実物感の高いコンテンツを届けるための技術「リアリティーイメージング」、インターネットを活用してユーザー体験を向上させる技術「コネクテッドメディア」、AIによって効率的に番組を制作する「スマートプロダクション」を大きな柱に掲げ、これらに関する様々な技術を展示している。
■2030-40年ごろのメディア技術 “ダイバースビジョン”
先述した「表現空間の拡張・共有」を可能にするものとして、技研が2030-2040年ごろを想定する放送技術 “ダイバースビジョン” というものがある。これは従来の2D映像だけでなく、3DテレビやAR、VRなどのコンテンツをそれぞれのデバイスで楽しめるようになるというもの。入場してすぐのエントランスには、このダイバースビジョンに関連した展示が大きく展開されていた。
まず目に入るのが、ヘッドマウントディスプレイとドーム型ディスプレイのモックアップ展示。将来的には、高精細なVR映像をこれらのデバイスを使用して楽しむようになるのではないか、とNHKでは予測する。今回の技研公開では、多くの方がこのイメージを体感するため、高さ4m×開口11mで180度の円形スクリーンに映像が投影された。
映像は3台の8Kカメラによって撮影した12K解像度となっており、縦置の4Kレーザープロジェクターを8台使用して投映される。上下それぞれ7chのスピーカーが30度間隔で設置され、さらに天井には1chのスピーカーを用意することで「没入型音声を再生」すると説明されていた。
実際に映像を見てみたが、スクリーンが大型なことに加えて、左右の視野を映像が覆うため、没入感が高かった。コンテンツについては、船に乗っているシーン、オーケストラを中央から見渡せるシーン、水族館のシーンなどいくつかの映像が用意されていた。
■ARを活用したテレビ視聴スタイル
大型スクリーンを抜けると、住宅のリビングを模した展示が出現。こちらでは、ARグラスを活用したテレビの視聴スタイルが紹介されている。従来のテレビでは出演者は画面の中に映っているだけだったが、ARグラスを利用することで、出演者がテレビを飛び出すことができる。場所を移動することで、様々な角度から見ることも可能だ。デモンストレーションでは番組「チコちゃんに叱られる！」から、キャラクターの「チコちゃん」が飛び出していた。
また、出演者が飛び出すだけでなく、離れた場所の家族をARグラスを通してリビングに登場させることも可能。こちらのデモでは、番組「みんなで筋肉体操」から武田真治氏がリビングに登場し、さらに単身赴任という設定の父親が横で一緒に体操をするという演出が行われていた。
■視点に追従するインテグラル3D映像
3Dテレビ関連では、特別なメガネを使わなくても自然な3D映像を見ることができるとする「インテグラル3D映像システム」が展示された。4月25日に発表されたばかりの新技術だ（関連ニュース）。
従来のインテグラル3Dテレビでは、視聴できる範囲が狭かったことが課題だったとのこと。今回の展示では、見ている人の目の位置を検出することで、視聴位置に応じた3D映像を広い範囲で表示できるとしている。具体的には、水平方向は従来比約3.3倍の81.4度、垂直方向は従来比約6.6倍の47.6度になった。
システムでは、ウェブカメラで瞳の位置を検出し、要素画素高速生成装置で視点に応じた要素画像を作成、それをレンズアレー（微小レンズ群を並べたもの）を用いたディスプレーで3D表示させる。視野角に加えて、画素密度の高いディスプレー（457.7ppi）と焦点距離の長いレンズアレー（2.0mm）を用いることで、3D映像を再生させる光線密度を向上させ（水平垂直ともに約2倍）、映像品質も向上させたという。
■将来の3次元映像表示デバイス
開発中の技術として、光の方向を制御する「光フェーズドアレー」、「スピン空間光変調器」という2つの技術が展示された。まず光フェーズドアレーは、機械的ではなく電圧を印加することによって、光ビームの出力方向と形状を制御することができるデバイスとなっている。
先述したインテグラル3D映像システムではレンズを用いて光の方向を制御していたが、光フェーズドアレーでは2MHzの高速偏向動作に対応することで、より奥行き範囲や視野を拡げることができるようになるという。現在は1次元方向での制御のみとなるが、今後は2次元で制御したいとのこと。また説明員によれば、「光フェーズドアレーで赤外線を照射し、それを読み取ることでスキャンを行うこともできる。実用化されるなら、表示デバイスより先に測定技術として使われるのでは」と話していた。
またスピン空間光変調器は、従来は印刷でしか作れなかったホログラフィーをディスプレイ状に表示させることを目指した技術。ホログラフィーを表示させるには微細なドットで高速切替を行うことが必要になるが、液晶などでは、1ドット10μm程度が限度。10μm程度でもホログラフィーは表示可能とはいうものの、視域は10度と狭くなってしまうという。今回は1μmというサイズでの白黒表示を実現したことで、広い視域をもたせることが可能になるという。
今回、微細な磁石を用いることで、電流によってON/OFF動作が行える「光変調素子（磁壁移動型光変調素子）」を設計・試作。短辺が1μmと小さいため電子顕微鏡を通して見ることになるが、実物も展示されていた。今後は、この技術を用いて、実際に表示させるデバイスを作ることが目標という。
■3DCG映像のリアルタイム生成技術
先述した3D映像を生成する技術についても展示が行われていた。ブースにはボルダリングの壁が設置され、実際に人が登っているところをモーションデータ取得用のカメラで撮影。これをPCで解析などの処理をした後、3Dデータ生成するというシステムだ。
さらにこの生成された3DデータをWi-Fiで伝送し、スマートフォンで表示。スマートフォンにはレンズアレーが貼り付けられており、3D映像を見ながら、視点を変更して見ることができるようになっていた。またリアルタイムのデータではないものの、テーブル型のインテグラル3D装置が展示されており、こちらもタブレットから操作することで自由な視点で見られるようになっていた。
関連した技術として、「スポーツ映像の状況理解技術」というブースでは、AIを搭載したロボットカメラを展示。サッカーにおいて、選手の方向やボールの位置をAIが状況理解することで、カメラワークを自動的に調整できる。またこのAIで生成したメタデータでセンシングを行い、3Dデータを作成することで、自由な視点から見ることのできるVR映像や、左目に3D・右目に実写の2D映像を流すことで3D映像も作れるという。
■3次元映像の奥行き表現技術
将来的に3Dで映像を放送するとなったとき、問題になることの1つが、奥行き表現をどうコントロールするかということだ。例えば「被写体の立体感を強調したい」「シーン全体をはっきりと見せたい」という製作者の意図があった場合、それを実現する方法として、スライダー状のコントローラーを用いた技術が開発された。
3Dテレビでは奥行の再現範囲に制約があるため、深い奥行きのシーンを再現するためには、この奥行きを圧縮する必要がある。全体的に自然な立体感を表現したい場合は全体的に圧縮するだけで済むが、例えば手前の立体感を強調したい場合は手前を広くし、奥を圧縮するといった制御を行う。この “奥行き圧縮パラメーター” をスライダーで制御することができる。
■スポーツを体感できる触覚インターフェース
VRやARといった視覚的なものに注目しがちだが、“触覚” についても研究が行われている。「スポーツの状況を体感できる触覚インターフェース」では、ユニバーサルサービスを想定し、触覚で競技状況を体感できるデモが展開されていた。
視覚に障がいがある方にとっては、卓球やテニスといった往復で行われるスポーツと違い、バレーボールなどのスポーツは実況だけでは状況が伝わりづらいという。また聴覚に障がいがある方にとっても、音ではなく振動で体感することで、より楽しむことができるとしている。
今回のシステムでは、映像からボールの位置を認識し、移動速度から衝撃の種類・強さなども生成。これによって得た振動を球体状のデバイスを触ることで、ボールのバウンド、アタックの瞬間など振動で体験することができる。球体はコートを模したテーブル上に、「選手」「ボール」を想定した振動を発するデバイスをそれぞれのチームごとに設置されている。またこの球体は側面が凹んでおり、ボールをアタックした瞬間などに凹むようになっている。例えば選手がボールをアタックすると片側が凹み、ボールを想定した方ではその反対側が凹む。
またボールの設定になっているものをそれぞれ両手で掴んでみたところ、目を閉じていてもボールがどちらのチームにあるのか、どちらのチームがアタックしたのか、ボールが地面に落ちたのかなどを直感的に感じることができた。さらに机にも振動子が設置されており、ボールが地面につくと机がリアルに振動したり、ネットは映像に合わせて揺れたりと、細かいところまで手が込んでいた。