ニュース
HOME > ニュース > AV&ホームシアターニュース
公開日 2024/05/28 23:03
AI技術の向上で手話CGの精度もアップ
＜NHK技研公開＞重要性増すフェイクニュース対策／放送と通信のさらなる融合でテレビ視聴がもっと便利に
編集部：長濱行太朗
NHK技研研究所は、放送技術に関する研究成果を一般公開する「技研公開2024」を、5月30日から6月2日の期間で開催する。一般公開に先立ち、メディア向けの選考体験会が開催され、4K・8K放送技術やボリュメトリック映像制作、ディフォーマブルディスプレイ、ホログラフィー撮影技術など、さまざまな技術が披露された。
本稿では、NHK技研が“いつでも・どこでも・誰にでも”をコンセプトに、AIの活用による手話CGなどのユニバーサルサービス、信頼性の高い情報の伝送手段やパーソナライズされたサービスなど、「ユニバーサルサービス」とカテゴライズした技術についてレポートする。
「コンテンツの信頼性を高める来歴情報提供技術」のブースでは、ユーザーに信頼性の高い情報を届けるため、コンテンツの制作・流通における来歴情報を提供する技術について展示されていた。
本技術の開発には、インターネット上で偽情報・誤情報の拡散、いわゆる「フェイクニュース」の問題が背景にあるという。この偽情報・誤情報の発信を防ぐために、コンテンツの出所・来歴の認証に関する技術標準を策定している標準化団体「C2PA」の仕様に準拠した技術を用いて、映像素材の来歴情報を提示するとしている。
制作現場で使用されること想定した展示では、コンテンツ製作時に映像素材として使っても問題ないかを判断する、制作現場向けのソフトウェアのデモを実施。映像素材が「いつ撮られたものか」「誰が撮影したものか」など来歴情報の有り／無し、来歴検証後は映像素材が生成AIで加工されていないかなどを判断し、来歴がない素材／生成AIで加工された素材は「一旦退避」させ、信頼できる素材が選別された状態でコンテンツ制作ができるようになっている。
C2PAの規格に準拠した来歴情報を映像に入れることができるカメラで撮影されたものか、C2PAの認証を獲得している放送局によるものか、C2PA準拠のものであるかないかが判断材料になるという。
ユーザーが放送・配信コンテンツの視聴中に、その映像が信頼できるものかどうかの判断をできるだけ簡単にできるものとして、来歴情報や第三者による改ざんの有り／無しが確認することができる動画視聴プレーヤーも試作していた。
もし映像の内容に改ざんがあったという来歴情報があった場合、「コンテンツ認証情報が無効」であることの表示、「偽・誤情報にご注意ください」といった警告アラートが表示されるなど、視聴者も映像の信頼度を一目で認識できるようになっているという。
これらの内容は、標準化への寄与、国際基準を適用したユーザー実験を行い、そこからの得た知見を放送局の制作ワークフローに反映するなど、一部の実用化を2026年からできるように目指しているとのこと。
「ニュースを対象とした手話CG生成技術」のブースでは、“より伝わりやすい手話表現を目指して”をコンセプトに、NHKが学習させた「翻訳AI」技術を用いてニュースの日本語文を手話単語列へと翻訳・変換、さらに手話CGのモーション生成および表情制御といった技術を合わせることで、従来以上に精度の高い手話CGを生成するデモを展示していた。
手話CGのモーション生成では、ニュースの内容に沿って入力したテキスト情報をベースに手話モーションを生成する「拡散モデル」という技術、登録してある手話モーションを組み合わせることで内容に適したモーション生成を行う「モーション合成」技術、そして手話で重要な情報となる顔の表情を細かく手話CGに反映する「表情制御」技術が導入されている。
また、的確な手話CGを生成する上で、先述した「翻訳AI」による翻訳精度を高める必要があるという。そのため、NHKの手話ニュースに映っている手話通訳士の動作に画像解析技術を掛け、手話単語を語順どおりに自動で書き起こすことができる技術も開発している。この手話単語のデータ数を増やすことで、「翻訳AI」の手話単語列への翻訳・変換の精度が高められるという。
「放送とネットを総合したコンテンツ提供基板」では、Webベース放送メディアの研究内容として、放送番組とネット番組を統合的に扱うことができる「クラウドネイティブ配信基板」技術についてのデモが公開されていた。
番組編成に従って時系列で番組を提供する放送・配信ストリームである「リニアチャンネル」を効率よく生成する技術、エッジサーバーを活用した番組差し替え技術を組み合わせることで、放送番組とネット動画のシームレスなリアルタイム視聴や視聴者の嗜好に合わせた映像作品の提供が可能になるという。
これらの技術によって、リアルタイムで放送されている番組を先頭から再生する「追いかけ再生」のような機能の設置、視聴者属性の設定機能をオンにすることで放送番組の中からユーザーの嗜好にあった映像コンテンツを自動で再生するといったことが可能になるとのこと。放送番組なのか、ネット動画なのかを意識せずに番組視聴をできることを特徴としている。
本稿では、NHK技研が“いつでも・どこでも・誰にでも”をコンセプトに、AIの活用による手話CGなどのユニバーサルサービス、信頼性の高い情報の伝送手段やパーソナライズされたサービスなど、「ユニバーサルサービス」とカテゴライズした技術についてレポートする。
■「C2PA」準拠の技術で信頼性の高い情報を判別する
「コンテンツの信頼性を高める来歴情報提供技術」のブースでは、ユーザーに信頼性の高い情報を届けるため、コンテンツの制作・流通における来歴情報を提供する技術について展示されていた。
本技術の開発には、インターネット上で偽情報・誤情報の拡散、いわゆる「フェイクニュース」の問題が背景にあるという。この偽情報・誤情報の発信を防ぐために、コンテンツの出所・来歴の認証に関する技術標準を策定している標準化団体「C2PA」の仕様に準拠した技術を用いて、映像素材の来歴情報を提示するとしている。
制作現場で使用されること想定した展示では、コンテンツ製作時に映像素材として使っても問題ないかを判断する、制作現場向けのソフトウェアのデモを実施。映像素材が「いつ撮られたものか」「誰が撮影したものか」など来歴情報の有り／無し、来歴検証後は映像素材が生成AIで加工されていないかなどを判断し、来歴がない素材／生成AIで加工された素材は「一旦退避」させ、信頼できる素材が選別された状態でコンテンツ制作ができるようになっている。
C2PAの規格に準拠した来歴情報を映像に入れることができるカメラで撮影されたものか、C2PAの認証を獲得している放送局によるものか、C2PA準拠のものであるかないかが判断材料になるという。
ユーザーが放送・配信コンテンツの視聴中に、その映像が信頼できるものかどうかの判断をできるだけ簡単にできるものとして、来歴情報や第三者による改ざんの有り／無しが確認することができる動画視聴プレーヤーも試作していた。
もし映像の内容に改ざんがあったという来歴情報があった場合、「コンテンツ認証情報が無効」であることの表示、「偽・誤情報にご注意ください」といった警告アラートが表示されるなど、視聴者も映像の信頼度を一目で認識できるようになっているという。
これらの内容は、標準化への寄与、国際基準を適用したユーザー実験を行い、そこからの得た知見を放送局の制作ワークフローに反映するなど、一部の実用化を2026年からできるように目指しているとのこと。
■「翻訳AI」とモーション生成の向上で手話CGの精度を高める
「ニュースを対象とした手話CG生成技術」のブースでは、“より伝わりやすい手話表現を目指して”をコンセプトに、NHKが学習させた「翻訳AI」技術を用いてニュースの日本語文を手話単語列へと翻訳・変換、さらに手話CGのモーション生成および表情制御といった技術を合わせることで、従来以上に精度の高い手話CGを生成するデモを展示していた。
手話CGのモーション生成では、ニュースの内容に沿って入力したテキスト情報をベースに手話モーションを生成する「拡散モデル」という技術、登録してある手話モーションを組み合わせることで内容に適したモーション生成を行う「モーション合成」技術、そして手話で重要な情報となる顔の表情を細かく手話CGに反映する「表情制御」技術が導入されている。
また、的確な手話CGを生成する上で、先述した「翻訳AI」による翻訳精度を高める必要があるという。そのため、NHKの手話ニュースに映っている手話通訳士の動作に画像解析技術を掛け、手話単語を語順どおりに自動で書き起こすことができる技術も開発している。この手話単語のデータ数を増やすことで、「翻訳AI」の手話単語列への翻訳・変換の精度が高められるという。
■放送番組からネット番組までシームレスな映像視聴
「放送とネットを総合したコンテンツ提供基板」では、Webベース放送メディアの研究内容として、放送番組とネット番組を統合的に扱うことができる「クラウドネイティブ配信基板」技術についてのデモが公開されていた。
番組編成に従って時系列で番組を提供する放送・配信ストリームである「リニアチャンネル」を効率よく生成する技術、エッジサーバーを活用した番組差し替え技術を組み合わせることで、放送番組とネット動画のシームレスなリアルタイム視聴や視聴者の嗜好に合わせた映像作品の提供が可能になるという。
これらの技術によって、リアルタイムで放送されている番組を先頭から再生する「追いかけ再生」のような機能の設置、視聴者属性の設定機能をオンにすることで放送番組の中からユーザーの嗜好にあった映像コンテンツを自動で再生するといったことが可能になるとのこと。放送番組なのか、ネット動画なのかを意識せずに番組視聴をできることを特徴としている。