「脳波とAIを用いた音声合成とデータ拡張手法」東京工業大学　科学技術創成研究院　バイオインタフェース研究ユニット　准教授　吉村 奈津江

「東京工業大学　新技術説明会」（2021年11月2日開催）にて発表。
https://shingi.jst.go.jp/list/list_2021/2021_titech.html

【新技術の概要】
1. 人が音を聞いたり思い出している時の脳波をから、信号処理と深層学習を用いてその音声を実際の音として再現できる技術。音声合成機の解析により、脳のどの部分の情報を用いたかも可視化可能。
2. 1の手法や他の深層学習の際に、少ないデータを水増しして学習性能の向上を可能にするデータ拡張技術。

【従来技術・競合技術との比較】
1. 頭皮にセンサーを貼り付けて脳活動を計測する手法を用いて、ヒトが聞いたり思い出している音声を音として再現し、さらに脳のどこを使って聞いていたかを把握できる技術はこれまでにない。
2. カオス的振動子の同期現象を利用したアルゴリズムを用いて時系列信号のデータ拡張を行うアルゴリズムはこれまでに存在しない。

【新技術の特徴】
・頭の中にある音を第三者に音声として提示できる。
・脳のどこでその音を処理していたか調べられる。
・少ないデータを拡張し、深層学習に取り入れられる新たなコンセプト。

【想定される用途】
・難聴者などの聞こえ方と脳活動を客観的に可視化し、診断やコミュニケーション手段に活用する。
・言語を介したコミュニケーションができない人の意思抽出に利用する。
・サンプル数に制限のあるデータを用いて深層学習を行う際のデータ数のかさ増しに用いる。