スマホや車載用から製造現場まで、私たちの世界を大きく支えるソニーの最先端イメージ＆センシング技術を見た

セキュリティカメラ用イメージセンサー

ドライブレコーダーなどでよく聞く、ソニーの「STARVIS（スターヴィス）」。セキュリティカメラ用に開発された独自の裏面照射型画素技術だ。これを活用して暗闇でもきれいな撮影ができる、1/1.2型4K解像度CMOSイメージセンサー4Kイメージセンサー「IMX585」が披露された。

STARVISはセキュリティカメラ向けの夜間撮影技術。可視光線領域よりたくさんの光を集めることで、夜間や暗い場所でもきれいな映像撮影を可能にする。IMX585では、独自のSSS独自のプロセスと回路技術によって、肉眼や従来センサーでは認識できない0.05lx（月明かり）レベルの明るさにおいても、色情報の取得が可能だという。

高感度化においてはこれまで、赤外線や白黒映像によるものもあったが、昨今はドラレコ映像で車の色や人物の洋服のカラーなど、色情報も重要になってきており、カラーセンサーにおいても高感度化が求められている。本センサーでは、カメラによるノイズリダクションという信号処理をせずとも十分な高解像度を実現できる。また、暗所でも30fpsで撮影できるため、動いているものも明瞭に映し出せるとする。

会場ではセンサー単体の性能を体感すべく、最小限の起動で、上述したノイズリダクションなどの信号処理などは行なっていない状態でデモンストレーションが行われた。もちろん処理を加える事でさらなる高画質化を実現できるわけだが、情報がしっかりと認識できる十分な撮影能力を発揮していた。

高速ビジョンセンサー

1秒間に1,000フレームの高速処理で対象物の検出と追跡を実現するイメージセンサー。画素から得られた色や輝度などの情報によって対象物を検出しており、さらにその対象物の重心位置や面積、動きの方向などを検出し、それらの情報をフレーム単位で出力することが可能となる。

活用例として、裸眼で3D映像を見ることができる空間再現ディスプレイでの使用デモが行われた。同センサーによる裸眼3Dディスプレイは、ソニーより15インチ/4Kサイズ「ELF-SR1」 として既に量産されている。合わせて、開発中という32インチ/8Kモデルも展示された。

本ディスプレイでは、センサーが目の位置を常に検出して、左右それぞれの目に最適な映像を生成することで、メガネやヘッドセットなしに3Dの立体映像が浮かび上がってみるという仕組み。

ELF-SR1ではセンサーは一つだが、32インチ/8Kモデルには2つ搭載されている。その理由は、同モデルが過去開催された「恐竜博」にて展示することとなった際、イベントの性質上、子供が多く来場するため、大人と子供で目と目の間の瞳孔間距離（＝IPD）が大きく違うことを考慮し、子供の目で見てもしっかり3D映像が楽しめるように、センサーによる目の位置認識精度を高めるべく、2眼方式にしたのだという。

スタビライザーソリューション

スタビライザーソリューションは、いわゆる「手ぶれ補正」の技術で、動体ブレの高い補正精度を実現する。人や動く物体にカメラをつけて撮影しても、安定した映像を実現することで、カメラを設置可能な場所を増やして、新しいサービス展開に寄与することをコンセプトに開発されたと説明する。

本技術では、物体の動きを三次元で正確に計測するIMU（慣性計測装置）からの加速度・角速度情報を画像情報と組み合わせて、視認性と認識率を向上。具体的には6軸モーションセンサーとスタビライザーLSI、イメージセンサーからの画像データを組み合わせて処理を行っており、イメージセンサーで撮像した非常に大きな画像エリアから、必要な部分を切り出して最適化しているという。

これによりブレを抑えることはもちろん、水平を保ち、歪みを抑えることも可能。また、ブラビアのテレビに過去に用いられていたiPC技術も合わせて活用することで、白飛び/黒つぶれを抑えた視認性の高い映像も実現している。

同社のスタビライザー技術における強みは、強力なブレ補正をリアルタイムで処理することができる点、また活用が見込まれるウェアラブルカメラなどにも搭載可能なサイズと消費電力の実現と、スタビライザー専用LSIでRAW出力するため、さまざまな画像処理カメラSoCと組み合わせられる適応力だという。

ウェアラブルカメラのほか、オンボードカメラなど動体ブレが課題となる機器への搭載はもちろん、安定して撮影できることから、選手にカメラを搭載して試合中のリアルな映像を映すといったスポーツ放送への活用であったり、工場の自動化を行うFA機器や物流の現場などにおいても、活躍が期待される。

エッジAIセンシングプラットフォーム「AITRIOS」

同社が2021年10月にサービスをスタートさせた「AITRIOS」は、AIカメラを用いたセンシングソリューションの効率的な開発・導入を支援するプラットフォーム。イメージセンサーの画像データを、エッジ（データを回線に送り出すポイント）側で処理して、必要な情報のみをクラウド側に伝達する新しいAIエッジソリューションと説明する。

カメラのイメージセンサーからの画像情報を用いてクラウド処理を行う技術はすでに存在している。ただ、従来の問題点として、データ容量が重く膨大な画像をそのままクラウド上に受け渡すことで負荷がかかること、また画像で認識された個人を特定できるデータがクラウド上に残ることによるプライバシー上の懸念があった。

また、昨今では、IoTデバイスから伝送される膨大なデータや、それによるシステム利用時の消費電力の増加が社会的な課題になっているという。さらにデータ転送遅延やデータ改ざんなどセキュリティ上の懸念、緊急時におけるサービス中断時のリスクなど、センシングソリューションの普及・拡大を推進するには、その前に課題が多くある状況だ。

そうした課題に対して、エッジ側で解決を図るべく開発されたのが本技術である。カメラに搭載するインテリジェントビジョンセンサーが、撮影した画像をAI処理し、必要な情報のみをテキストデータに変換して伝送する。これによりデータ容量の圧縮と消費電力の低減が可能で、クラウド側の負荷を抑えられる。また画像データを伝送しないためプライバシーにも配慮したシステムになっている。

本技術は、リテール（小売り）やスマートビルディング、スマートシティなどにおける活用が見込まれている。会場では、リテール向けソリューション開発の例として、店舗をイメージした空間にカメラを設置し、想定されるユースケースのデモが行われた。使用されるカメラにはAI処理機能を搭載するインテリジェントビジョンセンサー「IMX500」が使用されている。

たとえば、ユーザーが商品を手に取ったことをカメラで認識すると、ダッシュボードにその商品情報を表示。商品の種類や購入する/しないまで、一連の店内行動を認識でき、さらにユーザー自身の属性情報とリンクさせて、データを蓄積させることができる。

また、棚から商品がなくなると欠品状態をカメラが確認し、スタッフに通知するといったことも可能。これによりマーケティングや在庫管理などに活用でき、店舗運営に役立つとしている。

上述した機能を使えるアプリケーションは、AITRIOSのマーケットプレイスで展開を予定。利用者はオンライン上で必要なアプリを購入し、すぐにインストールすることができる。このほか、店舗の配置換えなど環境変化に対して再学習する最適化機能や、天気情報など他サービスとの連携も可能だという。

AITRIOSでは現在、第一弾展開として、エッジとクラウドの共働を推進し、快適なソリューションを構築するためのさまざまな機能を、さまざまなパートナー企業に向けてワンストップで提供するとしている。