ソニーグループは本日、ソニーグループのテクノロジーを紹介する「Sony Technology Day（ソニーテクノロジーデー）」をオンラインで開催。8つの最新技術について紹介した。

同社の最新技術に関する取り組みや活動、進捗をエンジニア自らが発信する場として開催されるSony Technology Day。冒頭にはソニーグループ株式会社副社長兼CTOの勝本徹氏が登場した。

勝本氏はソニーのPurpose（存在意義）を、「クリエイティビティとテクノロジーの力で、世界を感動で満たす」とし、「そのためにはテクノロジーが重要。進化により人とテクノロジーでつながることを推進し、製品やコンテンツ、サービスを通じて世界に様々な感動を提供したい」とコメントした。

今回で2回目となる本イベントでは、『フィジカルとバーチャルの融合』『リアリティの追求』『人・社会・地球への貢献』の3つのテーマに分けて技術発表が行われた。

『フィジカルとバーチャルの融合』のテーマでは、「Crystal LED」やデジタルシネマカメラ「VENICE 2」、グループ会社のホークアイ イノベーションズの技術「EPTS」などが実現する、2つの映像関連技術を紹介した。

まず最初に紹介されたのは、新たな撮影手法として注目を集める「In-Camera VF」。ソニー独自のLED制御技術とブラビアで培った信号処理技術を融合したLEDディスプレイ「Crystal LED」と、新開発の8.6Kイメージセンサーを搭載したデジタルシネマカメラ「VENICE 2」を活用したものだ。

昨今の映像制作現場では、実写映像とCGをリアルタイムで合成する新しい映像制作技術「バーチャルプロダクション」が広がっているとのこと。その一手法であるIn-Camera VFでは、カメラの動きと3DCG映像を連動させ、演者の背景にLEDディスプレイを設置して映し出すことで、従来のグリーンバックで撮影する際にかかる手間や、撮影現場の天候や時間、場所などの制約を受けずに、効率よく撮影できるメリットがあるとアピールする。

背景として使用するCrystal LEDでは、高精細でリアリティに富んだ映像を、高輝度かつ広視野角で映し出すことが可能。ディスプレイには低反射コーティングが施され、撮影現場の照明反射も抑制でき、またLEDを1.2mmから1.5mmの間隔で配置することでモアレも発生しにくいという。

その様子を撮影するVENICE 2は、高解像度で繊細な映像表現を実現し、また色域はRec.2020よりも広い独自のS-Gamut3の範囲をカバーし、色再現力も高いと説明。さらに幅広い輝度条件下に対応し、豊かな階調で収録が可能なため、ディスプレイに映し出された映像をより現実の描写に近い形で撮影し再現できるとしている。

二つの技術が組み合わせることで、親和性を高めた技術の最適化を図ることができ、よりリアリティのある映像制作を実現するとのこと。またソニーグループがエンターテインメント事業を抱えることから、クリエイターをはじめとした現場の声をダイレクトに技術開発に反映させられる点も特長だとし、今後もさらなる高品位コンテンツの制作効率化を推進していきたいと語った。

もう一つの映像技術として、スポーツ映像などに活用される、選手やボールなどの動きを捉えて可視化する「EPTSとData Visualization Technology」について紹介された。

本技術は、専用のトラッキングカメラで撮影された試合映像から選手やボールなどの動きを捉え、ミリ単位の正確性で迅速に骨格情報やプレーデータを収集し、映像化することでパフォーマンスの見える化を実現するというもの。

データ収集には、2011年からグループ傘下に参画したホークアイ イノベーションズの有する「EPTS（エレクトロニックパフォーマンストラッキングシステム）“SkeleTRACK（スケルトラック）”」を、データを可視化する映像技術にはソニーのイメージセンサーや放送品質の映像を扱う技術を使った「Data Visualization Technology」が活用されている。

昨今は映像に加えて、データを活用する重要性が増しているとし、本技術はたとえばテニスのライン判定やサッカーのゴール判定などにも活用できるとしている。メリットとしては、カメラ映像で解析することでデータを取得することで、位置センサーを選手につけるといったがないため、選手に負担をかけずに高精度かつリアルタイムに解析できる点だと担当者は語る。

現在セリエAなどのサッカーの試合や、日本では野球チーム・ヤクルトスワローズでも取り入れられており、選手の姿勢やボールの動きなどを捉えて、ほぼタイムラグなく映像として確認できるため、戦術の構築やコーチング、また視聴者としても新しい映像体験として価値があるものだと説明。今後はスポーツのみならず、アーティストのライブ映像などさまざまなエンタメ事業での活用を目指しているという。

続いて『リアリティの追求』のテーマでは、PlayStation 5に搭載する「Tempest 3Dオーディオ」や「ハプティックフィードバック」をはじめとした、さまざまな分野で没入感を実現する技術が紹介された。

最初に登場したのは、片目で4K、両目で8Kの高解像度映像により3D空間をより高精細に映し出す「VRヘッドマウントディスプレイシステム」。より現実に近い映像表現が可能で、これはCMOSイメージセンサーやディスプレイ開発で培った技術を生かした「OLEDマイクロディスプレイ」によって実現しているという。

合わせて複数センサーの情報を組み合わせ、システム全体で低遅延化を追求。視聴している人の頭の動きに合わせてリアルな表現を可能とし、プロダクトデザインや医療向けトレーニングの現場など産業用途のほか、エンターテインメント事業での活用にも期待だ。

次に紹介されたのは、超解像技術のRay Tracingへの応用だ。機械学習を用いた映像開発で培ったノウハウを活用して高精度な高解像度化を実現する技術で、これまで2D領域で活用していたものを、3Dへと応用範囲を広げている。

3Dコンテンツはデータ量が多いため、キャラクターの形状、テクスチャ、照明などの情報を用いて利用する光線の数を絞ってレンダリングすることで、制作時間を数百分の一に短縮。ソニー・ピクチャーズエンタテインメントと連携して現場の声を反映しながら開発を進めているという。

また上述したように、最新ゲーム機「PlayStation 5」にも新しい技術を搭載し、ゲームの現場でもリアリティを追求している。まず音響技術「Tempest 3Dオーディオ」では、DSPから設計して正確なポジショニングを実現、360度どこからでも音が聞こえてくるというもの。これによりゲームの世界への没入感をさらに高めている。

「ハプティックフィードバック」は触覚に表現力豊かな感触を伝える技術。新規開発したデュアルアクチュエーターの振動をゲーム内の状況に応じて変化させることで、多彩な反応を可能にしている。もう一つ「アダプティブトリガー」も、内部に組み込んだ小型精密ギヤと高トルクのモーターにより、同じく多彩な反応を触覚で表現する。

さらに幅広い領域で活用が見込まれる『人・社会・地球への貢献』をテーマとした技術も披露された。1つに、自動運転の実現に向け、車載LiDARの重要性が高まる中、その進化に貢献するという「積層型SPAD距離センサー」があるという。

これは、微弱な光エネルギーを捉えて高い精度で周囲の物体との距離を検出できるセンサー。独自の積層構造で省スペース化を実現しながらも、高速かつ高精度に距離を測ることができ、200m以上の遠距離の様子までも把握できるとしている。

検出した光を電気信号に変換する「SPAD（Single Photon Avalanche Diode）画素」、電気信号を伝達するCu-Cu（カッパー・カッパー）接続、伝達された信号から測距処理を行う回路などを搭載したロジック回路の主に3要素で構成。CMOSイメージセンサーのノウハウを活かしたとのことで、安心・安全なモビリティ社会の実現に寄与するものだという。

ロボット技術の進化としては、繊細な人の手の動きを再現できるという「マニピュレーター」が紹介された。特性が分からない物体に対して、指先で検出した圧力分布の変化から滑り落ちる動きの前兆をリアルタイムに検知できることで、対象を丁寧にかつ落とさずしっかり掴むことができる。従来ロボットの導入が難しかった分野にも、人の手に近しい作業ができる技術として、大いに期待できるとしている。

そして最後に、昨今注目の集まるサステナビリティにつながる技術、活動として「地球みまもりプラットフォーム」が発表された。具体的には、地球上のあらゆる場所をセンシングし、環境問題や災害などの異変の予兆を察知して問題の発生を未然に防ぐ仕組みとのこと。

例として農業分野に活用が見込まれる水分量測定が可能な土壌水分センサー、LPWA（Low Power Wide Area）の無線通信規格「ELTRESTM（エルトレス）」、AIを活用して河川の氾濫など予兆分析する技術などが挙げられた。

■ソニーの最先端技術を体験してきた

オンラインイベントが開催された当日、ソニーはメディア向けに一部技術の体験会を開催。会場には上述した3つのテーマからそれぞれ1つずつ、最新技術のデモンストレーションが用意されていた。

記者が最初に体験したのは、8Kの超高精細な3D映像を実現するVRヘッドマウントディスプレイシステム。

「ピクセル感がなくなるまでそこにあるかのように感じる高精細な3次元空間」と紹介されていたが、実際に見てみると、まさにその通りで、手を伸ばすとそこに存在していそうなリアルさを体感できた。そのリアリティに加えて、OLEDによる締まった黒表現や、鮮やかな色彩があまりに美しいので、普段より視力が良くなったような感覚すらあった。

この高精細な映像表示を可能にしているのが、1インチクラスで4K解像度を実現したという「4KOLEDマイクロディスプレイ」だ。会場ではディスプレイそのものも展示されていた。近くに十円玉が置かれていたが、近しいサイズ感の小さな画面の中に、非常に高精細な映像が映し出されていることが肉眼でもよくわかる。

デモでは、試しに50%ほど解像度を落とした映像も見せてもらったのだが、それまではっきりと見えていた文字が潰れて読めなくなってしまうなど、OLEDマイクロディスプレイの実現する映像が、いかに細かい部分まで表現しているのかを実感した。

一用途として挙げられていた、プロダクトデザインの3Dモックアップ映像例として、ソニーの一眼レフカメラの映像も視聴。細かなダイヤル部分やボタンなど細部まで確認でき、モックアップ状態の白っぽい状態での立体感はもちろん、色がついた状態ではボディのシボ加工まで、本物そのもののような質感に見えた。

また、視点を変えてあらゆる角度から見ても映像乱れなども一切ない。頭の動きに合わせた映像処理を遅延なく実現することを徹底したと説明されていたが、映像が少し遅れてくるような追従感は一切なく、目で見ている感覚に非常に近づいているように感じられた。

それほどかなり現実に近い立体映像であったが、人が実際に目で見ている状態は、どこに視点の置き場所によってフォーカスが変わるもの。そうした目の動きに合わせて、立体映像のフォーカスを自動で変えるなど、より肉眼に近づけた映像表現の可能性について聞くと、方法は様々考えられるがやり方を工夫しながら今後研究していきたいと語ってくれた。

またVRヘッドマウントディスプレイシステムを用いて、スポーツ映像に動きの情報を付帯させた映像技術「EPTS」と「Data Visualization Technology」のデモ動画も見ることができた。

実際に行われたサッカーの試合映像をもとに、選手やボールなどの動きを映像から取得したというデモ映像では、観客席／コート横のコーチ目線／ゴールキーパー目線の3つの視点で視聴した。すでに活用されていると説明していたが、たしかに、選手自身がこうした映像を見ることで、得られるデータや気づきなども増えて良い練習につながるだろうと感じた。

また、一視聴者としての活用も大いに期待できそうだ。そもそも記者はスポーツ観戦が得意ではなく、特に球技はボールがどこに行ってどう動いて…というのが目で追えなくなることが、あまり面白くない部分だと感じていた。デモ映像では、ボールの動きにエフェクトがついていて、弾道がわかることで見やすく、素人ながら試合運びが理解でき、興味を持って視聴したくなった。これも一つの没入感につながるのではと思う。

最後に今回初披露された「マニピュレーター」技術を紹介しよう。指先で検出した圧力分布の変化から滑り落ちる動きの前兆をリアルタイムに検知することで、どんな物体でも柔らかく、丁寧に扱いながらしっかりと掴むことができるというものだ。

実際にその指先に当たる部分は、猫の肉球のようなぷにぷにとした柔らかい素材でできており、この部分の裏側にセンサーが搭載されているのだという。滑り落ちる動きを数理モデル化して、掴む力を制御する仕組みをとっており、さらに上下に4つずつ備えられた赤外線センサーが、対象物の距離を測って、どのような向きでも滑らずに持ち続けられる程度、かつ最小限の力で安定して物を持つことができる。

現時点では手動切り替えとなるが、掴む／離すモードがあり、離すモードでは外部から対象物が引っ張られるなど外そうとする動きを検出すると起動するのだという。今後は、カメラ機能などとの組み合わせによる総合的な技術発展を追求し、たとえば対象物を高精度に検知し、掴むべきか離すべきかの判断なども行えるように、開発を続けていくとのことだ。