HOME > ニュース > <NHK技研公開>8K撮影データからマルチカメラ番組の制作を叶える次世代の活用法も公開

解析技術を駆使した映像説明テキストの生成も展示

<NHK技研公開>8K撮影データからマルチカメラ番組の制作を叶える次世代の活用法も公開

公開日 2024/05/29 09:34 編集部:長濱行太朗
  • Twitter
  • FaceBook
  • LINE
NHK技研研究所は、放送技術に関する研究成果を一般公開する「技研公開2024」を、5月30日から6月2日の期間で開催する。一般公開に先立ち、メディア向けの先行体験会が開催され、4K・8K放送技術やボリュメトリック映像制作、ディフォーマブルディスプレイ、ホログラフィー撮影技術など、さまざまな技術が披露された。

「技研公開2024」は5月30日から6月2日の期間で開催

本稿では、NHK技研が“メディアの直近の課題解決に貢献”をコンセプトに、メタデータを活用した番組制作支援、少人数でのマルチカメラ番組の制作など、「メディアを支える」とカテゴライズした技術についてレポートする。

番組制作を支援する技研のAI技術が導入されている

■解析技術を連携させて固有名詞も含む映像説明テキストを生成


「映像の説明テキスト生成技術」のブースでは、映像コンテンツの代表となる画像を摘出し、NHKが培ってきたデータベースを基にした解析技術を用いて、映像内容を説明するテキストを自動で生成する技術を展示している。

説明テキストに固有名詞の記述が可能になり、より具体的な説明を付けられるようになった

放送局が所有する膨大な映像を番組制作において再利用する際、欲しいシーンを検索するときに、映像の説明テキストが大きな役割を担っているという。その説明テキストを、従来以上に具体的にするため、解析技術を用い、固有名詞まで含めた説明テキストを付与できることが特徴とのこと。

AI技術を活用して説明テキストを生成する

説明テキストを生成するプロセスについて解説

解析技術では、横向きやマスク着用でも高精度に識別できる「顔認識」、特殊なフォントや文字列でも解析できる「文字認識」、顔が映っていなくても登場人物を判断できる「人物識別」、そして映像コンテンツを解析するのに最大限に適した画像を自動で抽出する「代表画像抽出」が含まれている。これらの技術によって、従来の説明テキスト生成技術では難しかった、人名などの固有名詞を含む説明テキストの生成が可能になったという。

顔認識をはじめ、文字認識、人物識別、代表画像摘出などの技術が導入されている

また、さまざまな要素技術を共通APIで利用できるようにプログラムを作成し、要素技術が簡単に連携できる仕組みを採用したことで、人名、撮影場所、説明テキストなどのメタデータを効率的に生成できるようになっていると説明する。

共通API化プログラムによって要素技術の組み合わせが容易になった

■8Kカメラの広角映像からマルチカメラ番組を制作


「8K映像切り出し制作システム」では、通常の番組制作において複数カメラマンが必要な状況でも、少人数でマルチカメラ番組を制作できる仕組みを展示する。

「8K映像切り出し制作システム」

1台の8Kカメラで撮影した広角映像から、いくつかの画角を2Kカメラ相当で半自動的に「切り出し」できる技術であり、マルチカメラで撮影したような番組制作が可能になる。

切り出し装置

8Kカメラで撮影した映像を切り出して画角を決めていく際、AI技術によって被写体を識別し、自然な切り出しにも対応する。デモでは、合唱コンクールの映像が使用されていたが、8Kカメラで撮影している映像の中に、複数の2Kカメラ相当の切り出しの枠が表示され、人の顔に被らない切り出しが実際にできていた。

AI技術で被写体の人数や顔などを認識し、切り出し領域を生成する

また、複数切り出した映像の切り出し範囲の設定、出力する映像を切り替えられるスイッチング機能を、ひとつの操作画面に集約したコントロールソフトウェアも開発。併せて映像のパン/ズームもカバーしており、切り出し範囲を跨ぐようなパン/ズームをする際、スムーズな連続的変化、緩やかな速度変化などを導入することで、人が操作したような自然なカメラワークを実現しているという。今後、本技術をイマーシブメディアにおけるコンテンツ制作への応用も進めていく予定だ。

スイッチング機能を備えたソフトウェアも開発

パン/ズームといったカメラ操作も滑らかに自然に実現

この記事をシェアする

  • Twitter
  • FaceBook
  • LINE

関連リンク

トピック