研究内容

映像の認識・理解による人間の社会活動の支援

　我々はイノベーションを創出する基礎的な研究開発テーマに注目し，独創性や新規性で世界最先端を目指す．下記２つの研究課題に力を注ぎ，同研究分野のトッププレーヤとなることを目標とする．下記研究課題は，いずれも画像・映像認識分野において研究者を悩ませ続けてきた基礎的かつ重要な課題を含んでおり，挑戦的なものである．
１. 少ないカメラによる自由視点映像の生成（キーワード：立体映像技術，ロボットビジョン）
　自由視点映像生成技術とは，複数視点から撮影した映像をもとに，各シーンにおいて視点を切り替え，任意の方向から表示可能とする技術である．３次元テレビや３次元テレビ会議システムの実現の技術的基盤となるため，現在，注目を集めている．しかし，従来技術では，十分な映像品質を得るためには，撮影時に数十から数百の視点数（カメラ撮影）が必要であるとともに，それらの光線空間をすべて伝送する必要があり，映像伝送・蓄積設備の物理的・コスト的な制約から，用途が限られる．
　我々は，幾何モデルベース法に基づく独自手法の開発により，高品質な自由視点映像生成を，少数のカメラ撮影で実現する．カメラが少ないため，欠落した情報をシーン幾何（奥行き情報または距離情報）の推定によって補う必要があるが，シーン幾何に対する高精度な推定は困難な課題であり，現在最先端の研究でさえ，難度の低いスタティック・シーン（シーンに含まれるオブジェクトが静止）に限定した条件下でのみ有効とされている．我々は，画素ごとの高精度なマッチング手法（デンス・マッチング）を開発することで，シーン幾何推定の精度を大幅に向上させ，高精度な自由視点映像の生成を目指す．必要なカメラは従来技術の約10分の１まで減らすことを目標とする．．
2. ウェブ資源を用いたドメイン横断型イベント学習（キーワード：ウェブマイニング，機械学習）
　映像中のイベント認識は，映像検索，ビデオ要約に必要不可欠な技術であり，映像データベース，映像視聴システム，監視カメラシステムなど広い範囲での応用が見込まれる基盤技術である．しかし，従来のイベント認識の代表的手法には，1)学習データの収集とラベリングに大量の手動作業を要し，高コスト，2)安定した分類器の生成には大量の学習データが必要であるが，映像の種類によっては多くの学習データを用意できない場合が多い，という問題がある．
　本研究テーマでは，近年急増しているウェブ上に散在している画像・映像（写真共有サイトFlickr，動画共有サイトYouTube等）を学習サンプルとして用いることにより，映像中のイベント認識に有用な知識を抽出する新しい枠組みを構築するものである．問題ドメインからの学習データが少量必要であるが，大部分の学習データはウェブ検索を通じて得られた画像・映像で補う．ウェブ上の画像・映像を学習データとして用いる際には，①付与されているテキスト情報（登録キーワード等）の不正確さ，②解像度，映像の長さ，品質のばらつき等が問題となる．本研究では，データ正規化機能，異なるドメイン間のデータ分布の違いを吸収する「ドメイン横断型学習」を実現し，キーワード入力するだけで，高品質の学習サンプルを収集し，イベント認識の学習データを得ることを目指す．