スマホや車載用から製造現場まで、私たちの世界を大きく支えるソニーの最先端イメージ＆センシング技術を見た

ソニーセミコンダクタソリューションズ株式会社（以下、SSS）は、同社のイメージング＆センシングテクノロジーを活用した最新技術・事業展開をメディア向けに紹介するイベントを実施した。

スマホ向けから車載用、製造現場まで。13のテーマに分けて世界を支えるセンシング技術を紹介

SSSでは、カメラに搭載するイメージセンサーをはじめ、車載向けセンシング技術、製造現場やスマートフォン向けなど、さまざまな領域において活躍する最新技術を多数有している。

本イベントでは具体的なデモンストレーションを交えながら、13のテーマに分けて技術紹介が行われた。過去開催された「Sony Technology Day」でデモを実施したものもあるが、多くがメディア初披露のテクノロジーとなる。

モバイル用イメージセンサー ハイダイナミックレンジ＋オートフォーカス（Octa PD）

今回紹介された中でも、多くのユーザーにとって最も身近に感じられるであろう技術が、スマートフォン向け最新イメージセンサー。デモ展示が行われたのは、特に高感度かつ高画素を追求する大型センサー向けとなる「Octa PD」方式センサーで、HDR機能と高速オートフォーカス（AF）を同時に実現する。

モバイル向けイメージセンサーはこれまでに、光の3原色が交互に並ぶ「Bayer配列」のカラーフィルターの方式から、2つの方向に進化した。一つは「Quad Bayer Coding」で、1色につき4画素並べて使用することで、従来よりもより大きな画素として扱うことができ、感度を高めることができる。さらに、4つの画素に対して明暗を3種類に分け、同時撮影することができるHDR機能も備えている。

もう一方は、フォーカス機能における進化だ。イメージセンサーの画素の一部、具体的には全体の3%をピントの合致の情報を取るためだけに使っていたが、人間が左右の目で情報を得て距離を測るように、1画素を左右に分割し、100%全画素からフォーカス情報取得できる「Dual PD」方式が生まれた。これにより、たとえば暗いシーンでもしっかりとピントが合い、あらゆるシーンで高速かつ安定したオートフォーカス（AF）を可能にしている。

今回紹介された「Octa PD」方式では、1色につき4画素がまとまって配置され、かつ、1画素は左右に分割されている。つまり、Quad Bayer CodingとDual PDの2方式が合体したものとなる。もちろん各方式の利点はOcta PDにおいても同じで、高感度な撮影、HDR対応、高性能なAF機能が1つのセンサーで実現できる。

Octa PDセンサーの採用により、たとえば室内で撮影する際、これまでは屋内は暗く写り、窓からの屋外は白飛び、フォーカスも合わせられないといった事が起きていたが、屋内外の両方の情報をしっかり取得できるため、一部が黒つぶれや白飛びすることなく撮影可能に。フォーカス情報も全画素から取得しているので、どの点をタッチしてもすぐにピントを合わせられるのだ。

説明員によると、Quad Bayer CodingやDual PDの方式を考えたときに、すでに将来的な方向性、進化の軸は見えていたとのこと。それを着実に実現するべく開発を進めてきたとし、自然な流れでOcta PDセンサーがようやく誕生したのだという。

なお、同センサーは実用化済みで、高単価なスマートフォンへの搭載が想定されており、メーカー名の具体は明かされなかったが、すでにあるメーカーの量産モデルに使用されているという。

Time of Flight（ToF）方式距離画像センサー

光の飛行時間を計測することで、イメージセンサーで距離を算出できるというもの。ここで紹介されたのは、indirect ToFと呼ばれ、光源から放射された光が対象物で反射して戻ってくる際の、位相のズレを信号としてセンサーが読み取って時間に換算し、距離情報に変換して測ることができる。

これに対し、光が反射して戻ってくるまでの時間そのものをカウントして距離を測るdirect ToF方式も存在する。こちらは昨今、自動運転の実現に向けて注目を集めているLiDAR技術で活用されている。なお、indirect ToF方式の方が画素数が大きく、解像度の面では有利とされているという。

同センサーにより、手の形など詳細に空間認識することができるため、スケルトンモデルを構築してアプリケーション開発に活用したり、同じく身体全体のデータを認識・取得してモデリングすることで、ボディトラッキングの用途にも使うことができると説明する。

同社はToF方式距離画像センサーを活用して、手から指の動きまでスムーズな描写を実現する、AR開発用ソフトウェア開発キット（SDK）「ToF AR」を開発者向けに一般公開している。

ToF ARはiOS/Android両対応で、開発ツールはUnityを用いる。なお、米国IT企業が提供するARプラットフォームと補完関係にあるとしており、ToF ARでは上述のセンサーによる測距情報に基づいた、高精度な手指の認識、ハンドジェスチャーの認識が、他にはない大きな特徴だという。

今回はその活用事例として、Vtuberアプリケーションが紹介された。アプリでは、センサーが取得したデータをAIが認識し、手の骨格を作って、リアルタイムでアバターに動きを反映させられる。手や身体をはじめ、動きの速い指のトラッキングも可能で、実際にアプリを試すと、若干の誤差はあるものの、指の動きを認識してポーズに合わせたエフェクト表示も体験できた。

実用例としては、ソニーの犬型ロボットのaibo、スマートフォン「Xperia 1 IV」、他社製の車載UIなどに搭載されているとのこと。活用の幅は広く、これ以外にも産業用途カメラ、車載カメラなど様々な分野に展開できると説明する。