研究内容

マルチメディアコンテンツの半自動的構造化と知的応用

■研究の概要■
マルチメディアコンテンツは従来のテキストコンテンツに比べ、内容に基づく処理が極めて困難である。そのため、マルチメディアコンテンツにはメタデータと呼ばれる内容記述を付与することが望まれている。本研究では、それらメタ情報をアノテーションと呼び、あらゆるコンテンツに対して意味的な構造を与え、そのライフサイクル全般にわたって知的で効率的なアクセスを可能にするためのヒューマンインタフェースの実現を目指す。具体的なアプローチとして、信号処理技術に基づくメディア情報解析と人間の認知処理との統合によるアノテーション技術の開発を進めている。基本的な音声・画像・言語処理の精度向上はもとより、人間の認知機能を最大限に生かす効率的なメタ情報抽出によるコンテンツの半自動的な構造化、生成したアノテーションを用いたメディアの知的応用に関する研究開発を行っている。
■研究テーマ■
(1) マルチメディアコンテンツのオフラインアノテーション
マルチメディアアノテーションに必要とされる要素技術は、対象とするコンテンツや利用目的によって異なる。重要なのは、コンテンツの利用目的の達成度と、そのために必要な情報抽出・構造化の詳細度とのバランスである。現状の技術が未成熟で情報に十分な信頼性が得られない場合には、自動解析技術の適用や人手にかかるコストを考慮しつつ、最適なアノテーション手法を選択する仕組みが必要である。オフラインアノテーションでは、まず様々な機械処理によってコンテンツの解析を行い、その後、機械処理によって抽出された情報の修正や、現状の技術では抽出が困難な情報を人手で付与する。最終的には、コンテンツに含まれる全ての情報を機械処理によって抽出することが望ましいが、このような半自動的なアノテーション手法により、機械と人間が得意な分野を手分けして行うことが現実的な解決方法と考えている。
(2) オンラインアノテーションとコミュニティ支援
オンラインアノテーションでは、機械処理は最低限に抑えた上で、ネットワークに繋がっている多数のコンテンツ閲覧者が少ない労力でアノテーションを行うことを目指す。オンラインアノテーションで付与される情報は、主に、名前や状況説明といった検索に利用可能な情報と、感想や印象などの主観的評価である。これらの情報を蓄積・共有することにより、コンテンツを中心としたコミュニティの形成に寄与することが可能となる。
(3) 会議などの実世界コンテンツの半自動的構造化と視聴支援
会議コンテンツとして、映像・音声情報や、テキスト情報、メタデータなどといった実世界情報を半自動的に獲得・構造化し、それらを組み合わせることで効率的かつ効果的な視聴環境を提供することを目指す。従来の議事録とは異なり、単なるテキスト情報にとどまらない多様なメディア情報を含むことから、閲覧者が自由に情報を取捨選択できる仕組みと、長時間にわたるコンテンツを限られた時間内に必要な箇所だけシームレスに視聴できるアクセス手段の実現に取り組んでいる。
(4) コンテンツのセマンティック・トランスコーディング
コンテンツを内容に基づいて変換することを、セマンティック・トランスコーディングと呼ぶ。コンテンツに付与されるアノテーションを手掛かりにして、ユーザの嗜好や環境に合わせたコンテンツ変換を可能にする技術の開発を進めている。
■今後の展開■