メタバースに本気で乗り出したソニー、最先端技術「ボリュメトリックキャプチャ」で映像制作をどう変える？

ボリュメトリックキャプチャ（Volumetric Capture）とは、実世界の空間をまるごと映像で取り込んでデジタル化し、あとから視点を変えて見られる自由視点映像技術のひとつだ。近年はメタバースに関わる新しいエンターテインメントやビジネスに多くの関心が注がれるなか、ソニーは2022年の7月に、ソニーPCLのクリエイティブ拠点である「清澄白河BASE」内にボリュメトリックキャプチャ技術での映像制作に特化したスタジオを新設した。

今回の連載では、テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニーであるソニーが、技術革新のため総力を挙げて取り組むボリュメトリックキャプチャ技術の最前線に迫るべく、ソニーPCLの「ボリュメトリックキャプチャスタジオ」を取材した。

この場所で、ソニーが誇る最先端の映像制作技術を駆使したボリュメトリックキャプチャスタジオがどのように稼働しているのか、スタジオが開設後から手がけてきた成果など、ソニーグループ株式会社 R&Dセンターでボリュメトリックキャプチャ技術に携わる増田 徹氏、池田 康氏に聞いた。

■高品位な撮影と独自のデジタルデータ生成

ボリュメトリックキャプチャには多くのメーカーが関心を寄せているが、ソニーはその技術を活かして高品位な映像を制作するために欠かせない、独自の強みを2つ持っている。

ひとつはソニーグループR&Dセンターによる高度な画像生成のアルゴリズムだ。複数のカメラで撮影した映像からリアルで自然な3次元のデジタルデータを作り出せるアルゴリズムは、現在も日々ブラッシュアップを続けている。

もうひとつはコンテンツ制作のスペシャリストであるソニーPCLが蓄積してきた、映像制作に関わる豊富なノウハウだ。撮影の技術もさることながら、3D／2Dの自然な映像を活かすためのテクニック、その他のポストプロダクション全般に関わる同社の知見が、メタバースのなかでリアルな被写体を再現するためには欠かせないものだ。

この2つの強みがあるため、撮影から映像制作まで一貫した、充実のパッケージ提案をクライアントにできる。ボリュメトリックキャプチャスタジオで撮影された映像コンテンツも確実に増えてきており、スタジオとしての実績を積み重ねている。

■映画からミュージックビデオまで実績を積む

「清澄白河BASE」には、ソニーの大型LEDディスプレイCrystal LEDとカメラトラッキングシステム、そこにリアルタイムエンジンを組み合わせた「バーチャルプロダクションスタジオ」も常設。ソニーPCLでは、ボリュメトリックキャプチャとバーチャルプロダクションを組み合わせた、ソニーにしかできない新しい映像手法の開発も進めている。ボリュメトリックキャプチャスタジオも昨年の稼働開始以来、ソニーPCLに厚い信頼を寄せるクリエイターから沢山の引き合いがあるそうだ。以下にいくつかの実績を紹介しよう。

ひとつは中島美嘉が2022年に発表したアルバム『I』の収録曲「Delusion」のMVだ。アーティストのパフォーマンスをキャプチャして、幻想的なCGと融合することで、楽曲の世界観を見事にビジュアライズした。このMVはオーディオトラックを360 Reality Audioで収録するバージョンもある。

橋本環奈が主演した映画『バイオレンスアクション』のアクションシーンもまたボリュメトリックキャプチャにより制作されたものだ。YouTubeには制作時の舞台裏の動画も公開されており、一見の価値ありだ。

そしてKing Gnuの楽曲「Stardom」のMVのワンシーンでもまた、ボリュメトリックキャプチャとCGをハイブリッドに活かした斬新な映像が楽しめる。ソニーの池田氏いわく、撮影時にはドラムスなど楽器本体の金属部分に、アーティストの周りを囲むスタジオの照明やカメラなどが映り込まないように、細心の注意を払いながら本作を作り上げたという。

■スタジオ内を取り囲み100台超えのカメラで撮影

「清澄白河BASE」のボリュメトリックキャプチャスタジオには、被写体の上方も含む360度を取り囲むように100台以上のカメラが設置されている。スタジオの広さは140m²、直径約8.74m。うち、中心から直径6mの範囲・高さ3mまでが撮影エリアだ。被写体を “天吊り” できるアームも完備する。

全100台以上のカメラは同一機種で、4K／60fpsの映像が撮れる産業用マシンビジョンカメラで揃える。画像全体を一度に取得するグローバルシャッターに対応。各カメラに同期信号を伝え、撮影した映像を転送・集約して3Dデータにするシステムを独自に開発し、実用化を成功させた。

3D映像データは「メッシュ」と呼ばれる躯体の上に、被写体の表面を撮影した高精細な画像を細かな「テクスチャ」に分解したパーツを貼り付けて構成する。ソニーのボリュメトリックキャプチャ技術は3D／2Dの映像データのほか、3Dデータにエフェクト効果を付与したり、ポストプロダクション時の自由度を確保するボーンデータを1度の撮影で取得できるのも有利な部分だ。

ボリュメトリックキャプチャは被写体をあらゆる角度から撮影しているため、背後から頭上を含めて自由な視点でカメラワークを決められる。一度の撮影でアーティストのパフォーマンスを全周囲から撮り切れるため、理屈的には撮影の際アーティストにかかる負担を軽減できるのもメリットだという。

ボリュメトリックキャプチャの最大の特徴は本来カメラがない視点（仮想視点）の映像を、撮影された3Dモデルから生成できるところにある。仮想視点の映像を高精細、かつスムーズに作れるところがソニーの独自開発によるアルゴリズムの特徴だ。

バンドやダンサーなどグループのアーティストがパフォーマンスする場合、カメラの死角が発生しないものかを尋ねてみると、増田氏はこれまでの撮影実績を踏まえて、最大6人による一斉のパフォーマンスを撮影した際にも、被写体が重なることで隠れて見えなくなってしまうオクルージョンの発生は回避できたという。

■ボリュメトリックキャプチャによるメタバースコンテンツを体験

筆者は取材の際、ソニーのボリュメトリックキャプチャ技術により制作された新鋭アーティストidom（イドム）の楽曲「GLOW」のパフォーマンスをメタバースで体験した。

本作は2022年12月24日〜2023年1月3日まで、横浜みなとみらいで開催された街と光のアートイルミネーションイベント「ヨルノヨ」と連動するコラボレーション企画の作品。横浜の街並みを模した幻想的なデジタル空間上で、夜空を舞いながら歌い踊るidomの3Dパフォーマンスを視聴するという趣向だ。視聴者が自由に視点を変えながら、idomに熱い視線を向けられるボリュメトリックキャプチャならではの楽しみ方ができる。

みなとみらいの美しい夜空の街並みをバックに、口もとの動きまでリアルなidomの表情、スムーズな体の動きがボリュメトリックキャプチャの映像により再現される。idomが夜空に高く舞うシーンで、高所恐怖症の筆者は思わず脚がすくんでしまうほどのめり込んだ。

このイベントは期間中、メタバースの大手ソーシャルプラットフォームである「VRChat」で実施。参加者はVRヘッドセットさえ用意すれば、自宅にいながらVRChatにアクセスしてidomのパフォーマンスを360度全方位に広がるデジタル空間で見られる。同時にVRChatの魅力である複数人数によるボイスチャットも可能で、ファン同士が一緒にVRChatに参加するという楽しみ方もできる。

なお2D映像版のコンテンツも同時期に配信された。池田氏によると、今回コンテンツを体験した視聴者のうち約2/3がVRヘッドセットを使ってメタバースで体験したそうだ。

■容量と画質のバランスが求められる「送る」技術

ソニーのボリュメトリックキャプチャで撮影したデータは、通常はMVやCM、映画のような高品位のオフラインコンテンツ向けに非常にデータ量が大きくなっている。このため、VR Chatの推奨するデータ量（1ワールドで600MB）よりもはるかに大きく、コンテンツとして成立させるためにはデータを圧縮をしなくてはならない。

今回、フォトリアルな品質を維持しながらデータサイズの削減を行う独自のアルゴリズムを開発し、演出やワールド背景のデータ削減を工夫することで、VR Chatの推奨データ量に収めることを実現した。これにより高精細なアーティストのパフォーマンスを自由視点で視聴しながらチャットや会話を楽しむコンテンツが提供できたというわけだ。

増田氏はボリュメトリックキャプチャによる映像はデータ容量が大きくなることから、VRChatで視聴される方々が一般的な通信環境でストレスなく楽しめるように、配信するデータの「容量と画質のバランス」を最適化することに腐心したと振り返る。

ボリュメトリックキャプチャは、来る次世代のコミュニケーションを拡張するテクノロジーとしても期待されているため、解像度やフレームレートの向上が引き続き模索される。大容量のデータを効率よく「送る」技術もまだまだ進化を続けるだろう。5Gの先端通信技術をうまく取り込めるところも、モバイルや電気通信の事業を持つソニーグループの強みといえる。

増田氏と池田氏は今後ボリュメトリックキャプチャにより撮影する音楽などエンターテインメント系のメタバースコンテンツを、リアルタイム・ライブ配信する試みにも挑戦したいと口を揃えた。その試みが早く実現してほしいと筆者も思う。

■高精細な立体映像を「見る」デバイスの多様化に期待

映像技術については、引き続きボリュメトリックキャプチャとバーチャルプロダクションの融合を図る。例えばソニーPCLでは今、ボリュメトリックキャプチャにより撮影した被写体をバーチャルプロダクションのディスプレイに映し、さらにリアルの人物によるパフォーマンスと融合させる新たなデジタル映像制作技法の開拓にも挑戦しているようだ。そのメリットは制作に関わるスタッフが一斉に現場に居合わせて、プレビューを見ながらコラボレーションができるので、ゴールイメージが明確になることもあり、撮影後のポストプロダクションに要する時間の短縮が見込めるという。

ボリュメトリックキャプチャにより制作した映像を「見る」手段にも広がりを期待したい。コンシューマーとしては、やはり毎度ヘッドセットを装着する手間を省きたいし、複数人数でより快適にメタバースに触れられる手段もほしい。ソニーが商品化した「空間再現ディスプレイ（Spatial Reality Display）」の大型モデル（CES2023で27型の試作機が発表された）、あるいはより大勢で一緒に視聴できる立体視ディスプレイがあれば、ボリュメトリックキャプチャがもたらすメリットが広くコンシューマーにも伝わるはずだ。

また、ソニーはCES2023で可搬型のボリュメトリックキャプチャシステムも発表している。全7台のカメラながらポータビリティを重視。レンダリング処理にかかる時間も大きく短縮して、ライブコンテンツ収録のような用途にもボリュメトリックキャプチャへの需要を呼び込むことが試作機のミッションだ。

ソニーが本気を出したことで、メタバース時代のコンテンツクリエーションがまた大きく変わるような期待を筆者は抱いた。ボリュメトリックキャプチャはソニーが今後に向けて本格的に取り組むメタバース事業のひとつだが、昨年から順調な滑り出しを遂げたといえるだろう。今後の動向から目が離せない。