近年，人間と対話のできるコンピュータやロボットが実用化されつつあります．本研究室ではこうした対話を実現するための「マルチモーダル情報処理」の技術開発に取り組んでいます．マルチモーダルとは，音声や表情といった多様な知覚情報を用いることを指し，これを用いた対話を「マルチモーダル対話」と呼びます．人間同士の対話は，相手の表情や口の動きを見ながら対話を進める「マルチモーダル対話」であることから，この技術をコンピュータやロボットに組み込むことによって，より自然な対話を実現できます．本研究室では音声の合成・変換・認識等の各技術，読唇技術を含む顔画像処理技術，対話システムの構築といった，人工知能システムの実現やマルチモーダル対話に必要なさまざまな技術の開発を進めています．

■ 出身大学：1995年 大阪大学 基礎工学部 情報工学科 卒業
■ 出身大学院：2000年 大阪大学 基礎工学研究科 情報数理系 博士後期課程 修了

■ 取得学位：大阪大学 博士（工学） 課程
■ 研究経歴
・1995-2000 知識処理（非単調推論）
・2000-2013 マルチモーダル対話システム
・2009-2017 音声検索語検出
・2009- 顔画像処理
・2014- 音声合成，声質変換，音声認識

■ 研究職歴
・2000-2007 豊橋技術科学大学大学院工学研究科 助手
・2007-2010 豊橋技術科学大学大学院工学研究科 講師
・2010-2011 豊橋技術科学大学国際交流センター 講師
・2011-2016 豊橋技術科学大学国際交流センター 准教授
・2016-2021 東京理科大学理工学部情報科学科 准教授
・2019 Edinburgh大学音声技術研究センター 客員研究員
・2022- 東京理科大学理工学部情報科学科 教授

■ 研究キーワード：音声情報処理，顔画像処理，マルチモーダル情報処理，対話システム

■ 研究分野：知覚情報処理 (音声情報処理，顔画像処理，マルチモーダル情報処理，対話システム)

マルチモーダル対話システムは音声や画像を含む多様な情報チャンネルを扱うため，その構築には様々な要素技術が必要になります．本研究室では中でも特に音声情報処理，その中でも音声合成や声質変換の研究に最も力を入れています．

ロボットやコンピュータが人間の発話内容のみならず，話し方の癖や体調などを発話から読み取るには，人間がどのように口や舌を動かしているかを理解する必要があります．そこで本研究室では発話時の調音運動（口唇や舌の動き）から音声を合成するシステムの開発を進め，ロボットやコンピュータに人間の発話の仕組みを学ばせることを目指しています．

研究室では口唇の動きから発話内容を読み取る機械読唇技術についても研究を進めている他，情動の理解や人間のような知的処理を行うシステム，ロボットの自律行動に必要な様々な技術の開発を進めています．例えば音楽情報処理，脳波解析，対話システム，機械読唇，環境地図構築，強化学習，自然言語処理などの研究に取り組んでいます．