研究内容

大規模放送映像群の内容理解

１．研究の概要
撮影メディア・伝達メディアの多様化に伴い、現代社会には大量の映像データが氾濫している。それらの内容を分析し、様々な形で人間の活動を支援することが重要である。しかし、大規模な映像群に対する処理においては、その規模ゆえに従来の画像内容理解やパターン認識の手法をそのまま適用することは困難である。そこで、大規模な映像群に対して、効率的かつ効果的にその内容を理解し、検索や閲覧を実現したり、潜在している知識を抽出したりすることを目指している。
２．研究テーマ
映像の代表的なものとして、放送映像が挙げられる。放送映像は人間社会を克明に記録した人類共通の資産と考えられるが、散逸の危機に瀕している。近年になりアーカイブの構築が進みつつあるが、大量に蓄積された映像群から目的の映像を検索したり、何らかの有用な情報を抽出する手法はいまだに確立していない。
そこで、放送映像のなかでも特に記録として価値の高いニュース映像に注目し、数100時間規模のニュース映像群を対象とした下記のテーマに関する研究に取り組んでいる。
・トピックスレッド構造の抽出
関連するニューストピックの遷移を追跡するために、出来事の時系列的な因果関係を表す「スレッド構造」を自動抽出し、その構造に基づいて話題を追跡するための閲覧インタフェースを提供することで、利用者により指定されたトピックの効率的かつ効果的な内容理解の支援を目指している。
・発言集の作成
映像によるニュースの伝達における最大の利点は、活字（新聞・雑誌）や音声（ラジオ放送）では伝わりにくい視覚情報の存在が挙げられる。特に演説など、被写体が自己の意志を表明するために肉声で発話している映像からは、話者の表情や雰囲気など放送映像ならではの情報が得られるため、人物が発言しているシーンを自動収集し、検索や要約を実現することを目指している。
・登場人物の人間関係の抽出
ニュース映像中の人物の出現状況に基づき、アナウンサによる解説などで明示的に言及されない登場人物の人間関係の自動抽出を目指している。また、このようにして得られた知識を用いて、ニュース映像の内容を更に良く理解することを考えている。
またこれらの実現に必要な画像・テキスト・音声の各メディアにおけるパターン認識技術の研究にも取り組んでいる。
３．今後の展開
利用者からの様々な問い合わせに応じて的確に回答できるようなシステム、たとえば自動的にドキュメンタリ映像を製作することなどを考えている。
４．これまでの研究テーマ
ニュース映像以外に、これまで下記のような映像を対象とした研究に取り組んできた。
・車載カメラ映像：走行支援、街並みデータベースの構築
・料理映像：調理手順の索引付け、調理支援への応用
・スポーツ（サッカー）映像：選手の追跡
・ドラマ映像：登場人物による行動の索引付け
また、本研究とは別に、下記のテーマにも取り組んできた。
・学術情報流通基盤の整備：研究者個人情報管理システムの構築