研究内容

人の声と動きのモデル化

１．バイモーダル音声認識
カーナビやオーディオ機器のような車内機器操作のインタフェースとして音声認識の応用が期待されている。しかし、車内では、ロードノイズや音楽などの背景雑音の影響で十分な音声認識率が得られない。そこで、雑音の影響を受けない唇の動きの情報を利用することで音声認識率を向上させるバイモーダル音声認識の研究を行っている。これは、人が雑音の中で相手の声を聞き取るために、唇の動きを読む読唇（リップリーディング）と同じ考え方である。
本研究では、データ収録用の特別車（図右下）を用いて実際に市街地や高速道路を走行中の運転者の音声と顔映像のデータを収録し（図上）、実車内環境において有効なバイモーダル音声認識の手法について、以下のような検討を行っている。
a）運転者の顔映像からの唇位置のトラッキング法
b）音声と映像を用いた発話区間の検出法
c）音声認識に有効な画像特徴量の抽出法
d）音声と映像情報の統合法
更に、本研究で収録したバイモーダルデータベースを公開し、多くの研究者が同じ土俵でバイモーダル音声認識手法の性能評価ができるように、データベース整備と公開準備を進めている。
２．個人認識
2.1 話者認識
盗難や情報漏洩に対するセキュリティ対策の必要性が高まり、指紋・静脈パターン・声・筆跡といった他人に盗まれにくい身体特徴や癖を用いたバイオメトリクス個人認識が注目されている。本研究では、これらのうち、音声を用いて個人を認識する話者認識について取り組んでいる。これまでに、周波数分析で得られるスペクトルの特徴に加えて、声の高さや抑揚の情報を表す基本周波数を話者の特徴として利用した認識手法や、話者認識に適した周波数軸の伸縮法などについて検討し、有効性を示した。
2.2 運転者認識
人が日常行っている行動パターンの信号を周波数分析して得られるスペクトル特徴を用いて個人認識を行っている。本研究では、自動車運転時のアクセルやブレーキ操作といった運転行動信号に含まれる個人性をケプストラム分析によって抽出し、混合正規分布で各運転者をモデル化する。データ収録車（図右下）で市街地走行中に収録した約300名の運転行動データを用いて、運転者識別実験を行った結果、76％の識別率を得た。今後、運転者認識を運転タイプ認識へ発展させ、個人に適した運転支援などに応用したいと考えている。更に、新たなデータ収録車を用いて、発汗量・心拍数・視線の軌跡といったデータも併せて収録し、運転行動との関係について検討する。
３．手話認識
聴覚障害者の社会進出の進展に伴い、手話講習会の開催や手話学習システムの開発など、手話学習支援のニーズが高まっている。本研究では、手話学習システムに必要な手話認識及び手話動画像合成システムの研究に取り組んでいる。
まず、手話のうち固有名詞などの表現に用いられる指文字に注目し、指文字を隠れマルコフモデルでモデル化するために、文字バランスのとれた指文字単語コーパスの設計を行った。本コーパスに基づいて、データグローブと位置センサーで手指関節角と手首位置の３次元データを収録し（図左下）、連続指文字単語認識実験を行った。その結果、約１万５千語彙の大語彙の単語認識において98％の高い単語正解率を得た。現在、主成分分析を用いて認識に重要な手指関節について検討を行っている。更に、同じデータを用いて任意のテキストからの指文字動画像合成の実験を行った結果、人間らしい自然な動画像が合成できることを確認した。今後、手話単語データの収録、画像ベースの認識法の検討を行い、手話認識と手話合成システムを統合した手話学習システムの開発を行う予定である。
キーワード