トップページへ戻る

ニュース

HOME > ニュース > AV&ホームシアターニュース

公開日 2022/07/21 11:33
ビデオ会議などのアバターに反映できる

使用者の表情を“ソナー”で読み取る、イヤホン型デバイス「EarIO」【Gadget Gate】

Munenori Taniguchi
コーネル大学の研究者が、使用者の顔の動きをリアルタイムで読み取りスマートフォンに送信、ビデオ会議などのアバターに反映させられるイヤホン型デバイス「EarIO」を開発している。

Image:Ke Li/Cornell University

EarIOは、内蔵するスピーカーから使用者の顔に向けて音を発し、その反響のしかたをディープラーニングによって見分けることで、表情を再現するという仕組みになっている。

コーネル大学といえば、2020年にはオーバーヘッド型ヘッドホンのイヤーカップ部分にカメラを備え、頬の輪郭から表情を読み取ってアバターに再現するデバイスを開発していた。しかし、研究チームのひとりで情報科学助教授のCheng Zhang氏によれば、「カメラを使って顔の動きを追跡しようとすると、どうしても大きく、重く、エネルギー消費量も大きくなってしまうため、ウェアラブルには向かない」という。また光学的なカメラを使用すると、使用者の個人的な情報に結びつくものが多く写り込んでしまう問題もあった。

その点、現在取り組んでいるEarlOの顔トラッキング方式では、音響を利用することで、プライバシーを確保しつつ、省エネ、低コストそして快適さを提供できるようになったという。とくにエネルギーはカメラに比べて、1/25の消費量で動作させることができるようになったとのことだ。今回の発表時点では、EarIOは内蔵バッテリーで約3時間使用できるが、将来的にはさらに駆動時間を延長したいとしている。

16人を対象に試験を行ったところ、EarIOは使用者が座っているとき、また歩いているときも問題なく動作することがわかった。このとき、風や道路の騒音や多少の背景音は、表情の読み取りには影響しなかったとのこと。ただし、センサーの検知感度が高すぎるといくつかの問題が発生する可能性があったという。

「センサーは非常に微妙な動きを追跡できるのだが、周囲で何らかの音が発生したり、頭のわずかな動きであってもそれを拾ってしまい、具合が悪かった」と、研究チームのひとりRuidong Zhang氏は述べており、研究チームでは今後、周囲の騒音や雑音を遮断する機能を向上させたいとしている。

また今回の発表時点では、EarIOは使用者の表情を学習するために、あらかじめ32分間にわたり顔データの収集を行わなければならない。これに関しても研究チームは、いわゆるプラグ・アンド・プレイデバイスのように、装着してすぐに使い始められるようにしたいと考えているそうだ。

この技術が一般でも利用可能になれば、たとえばウェブカメラの付いていないデスクトップPCでも、ビデオ会議にアバターで参加できるようになるだろう。またVtuberなども、カメラやモーションキャプチャーでなく、イヤホンを身に付けるだけでアバターを動かすことが可能になるかもしれない。

Source: ACM Digital Library
via: Cornell Chronicle, Engadget

テック/ガジェット系メディア「Gadget Gate」のオリジナル記事を読む

新着クローズアップ

クローズアップ

アクセスランキング RANKING
1 ソニー、第2世代フラグシップ・ミラーレス一眼「α1 II」。画質、操作性を着実に強化
2 オーディオファイル待望の物量投入型プリメインアンプ!デノン「PMA-3000NE」をクオリティチェック
3 目黒蓮を“もっとそばに”感じられる特別イベント。「レグザミュージアム〜The 6 STORIES〜」11/21から原宿で開催
4 ボーズ、McIntosh Groupを買収。マッキントッシュ、ソナス・ファベールが傘下に
5 ビックカメラ.com、「2025年新春福箱」の抽選申し込み開始。全66種類、iPadやPS5も登場
6 覚えておくと絶対便利!iPhoneの「計測」アプリでできる、あんなことこんなこと
7 ビクター「HA-A6T」レビュー!5000円切り完全ワイヤレスイヤホンは「価格を上回るクオリティ」
8 高音質と機能性を両立する新たなスタンダード機!AVIOTのANC完全ワイヤレス「TE-V1R」レビュー
9 Meze Audioが打ち出す待望の入門モデル。開放型ヘッドホン「105 AER」&イヤホン「ALBA」の音質に迫る
10 新開発ユニットを巧みに操る懐深いサウンド。ELAC「Debut 3.0」フロア型/ブックシェルフ型を聴く
11/21 10:37 更新

WEB