TOP > 研究活動 > 研究者総覧「情報知」 > メディア科学専攻 > 協力教員 > 宮島 千代美

研究者総覧「情報知」

メディア科学専攻

氏 名
宮島 千代美(みやじま ちよみ)
講座等
協力教員
職 名
特任准教授
学 位
博士(工学)
研究分野
運転行動信号処理,音声信号処理
宮島 千代美

研究内容

人の声と動きのモデル化
1.バイモーダル音声認識
カーナビやオーディオ機器のような車内機器操作のインタフェースとして音声認識の応用が期待されている。しかし、車内では、ロードノイズや音楽などの背景雑音の影響で十分な音声認識率が得られない。そこで、雑音の影響を受けない唇の動きの情報を利用することで音声認識率を向上させるバイモーダル音声認識の研究を行っている。これは、人が雑音の中で相手の声を聞き取るために、唇の動きを読む読唇(リップリーディング)と同じ考え方である。
本研究では、データ収録用の特別車(図右下)を用いて実際に市街地や高速道路を走行中の運転者の音声と顔映像のデータを収録し(図上)、実車内環境において有効なバイモーダル音声認識の手法について、以下のような検討を行っている。
a)運転者の顔映像からの唇位置のトラッキング法
b)音声と映像を用いた発話区間の検出法
c)音声認識に有効な画像特徴量の抽出法
d)音声と映像情報の統合法
更に、本研究で収録したバイモーダルデータベースを公開し、多くの研究者が同じ土俵でバイモーダル音声認識手法の性能評価ができるように、データベース整備と公開準備を進めている。
2.個人認識
2.1 話者認識
盗難や情報漏洩に対するセキュリティ対策の必要性が高まり、指紋・静脈パターン・声・筆跡といった他人に盗まれにくい身体特徴や癖を用いたバイオメトリクス個人認識が注目されている。本研究では、これらのうち、音声を用いて個人を認識する話者認識について取り組んでいる。これまでに、周波数分析で得られるスペクトルの特徴に加えて、声の高さや抑揚の情報を表す基本周波数を話者の特徴として利用した認識手法や、話者認識に適した周波数軸の伸縮法などについて検討し、有効性を示した。
2.2 運転者認識
人が日常行っている行動パターンの信号を周波数分析して得られるスペクトル特徴を用いて個人認識を行っている。本研究では、自動車運転時のアクセルやブレーキ操作といった運転行動信号に含まれる個人性をケプストラム分析によって抽出し、混合正規分布で各運転者をモデル化する。データ収録車(図右下)で市街地走行中に収録した約300名の運転行動データを用いて、運転者識別実験を行った結果、76%の識別率を得た。今後、運転者認識を運転タイプ認識へ発展させ、個人に適した運転支援などに応用したいと考えている。更に、新たなデータ収録車を用いて、発汗量・心拍数・視線の軌跡といったデータも併せて収録し、運転行動との関係について検討する。
3.手話認識
聴覚障害者の社会進出の進展に伴い、手話講習会の開催や手話学習システムの開発など、手話学習支援のニーズが高まっている。本研究では、手話学習システムに必要な手話認識及び手話動画像合成システムの研究に取り組んでいる。
まず、手話のうち固有名詞などの表現に用いられる指文字に注目し、指文字を隠れマルコフモデルでモデル化するために、文字バランスのとれた指文字単語コーパスの設計を行った。本コーパスに基づいて、データグローブと位置センサーで手指関節角と手首位置の3次元データを収録し(図左下)、連続指文字単語認識実験を行った。その結果、約1万5千語彙の大語彙の単語認識において98%の高い単語正解率を得た。現在、主成分分析を用いて認識に重要な手指関節について検討を行っている。更に、同じデータを用いて任意のテキストからの指文字動画像合成の実験を行った結果、人間らしい自然な動画像が合成できることを確認した。今後、手話単語データの収録、画像ベースの認識法の検討を行い、手話認識と手話合成システムを統合した手話学習システムの開発を行う予定である。
キーワード
リップリーディング、運転行動信号、ケプストラム分析、混合正規分布、手話、指文字、隠れマルコフモデル
上:バイモーダルデータ、左下:指文字収録、右下:実験車

上:バイモーダルデータ、左下:指文字収録、右下:実験車

経歴

  • 2001年 名古屋工業大学大学院工学研究科電気情報工学専攻博士後期課程修了.博士(工学).
  • 1998年より日本学術振興会特別研究員(在学中2001年まで).2001年 同大学知能情報システム学科助手.2003年 名古屋大学大学院情報科学研究科助手.2007年 同研究科助教.現在に至る.

所属学会

  • IEEE
  • 自動車技術会
  • 電子情報通信学会
  • 日本音響学会

主要論文・著書

  1. 運転行動信号処理の現状と展望, システム/制御/情報, vol.55, no.1, pp.2-7, Jan. 2011.
  2. 運転行動データベースの構築とその応用, システム/制御/情報, vol.55, Jan. pp.20-25, 2011.
  3. Driver modeling based on driving behavior and its evaluation in driver identification, Proceedings of the IEEE, vol.95, no.2, pp.427-437, Feb. 2007 (invited).
  4. A new approach to designing a feature extractor in speaker identification based on discriminative feature extraction, Speech Communication, vol.35, no.3-4, pp.203-218, Oct. 2001.
  5. Text-independent speaker identification using Gaussian mixture models based on multi-space probability distribution, IEICE Trans. Information and Systems, E84-D (7), pp.847-855, July 2001.