FastSpeech: Fast, Robust and Controllable Text to Speech

FastSpeech: 高速で堅牢な制御可能なText-to-Speechシステム

近年、ディープラーニングを用いたエンドツーエンドのText-to-Speech (TTS)システムが大きく進歩し、合成音声の品質が向上しています。しかし、既存のシステムには以下のような課題があります：

この論文では、これらの課題を解決する新しいTTSモデル「FastSpeech」を提案しています。

FastSpeechは以下の特徴を持つ新しいTTSモデルです：

これらの特徴により、高速で安定した音声合成が可能になり、さらに音声の速度や韻律をコントロールすることができます。

FastSpeechのモデルアーキテクチャは以下の主要な要素で構成されています：

FFTは、Transformerのself-attentionメカニズムと1D畳み込みネットワークを組み合わせた構造です。音素側とメルスペクトログラム側にそれぞれN個のFFTブロックがスタックされています。

FFT Architecture

Length Regulatorは、音素シーケンスとメルスペクトログラムシーケンスの長さの不一致を解決するためのコンポーネントです。各音素の持続時間に基づいて、音素の隠れ状態を拡張します。

Duration Predictorは、各音素の持続時間を予測するためのコンポーネントです。2層の1D畳み込みネットワークで構成されています。

FastSpeechの学習は以下の手順で行われます：

LJSpeechデータセットを用いて実験を行い、以下の結果が得られました：

Mean Opinion Score (MOS) 評価では、FastSpeechは既存の自己回帰モデルとほぼ同等の品質を達成しました。

Method	MOS
GT	4.41 ± 0.08
GT (Mel + WaveGlow)	4.00 ± 0.09
Tacotron 2 (Mel + WaveGlow)	3.86 ± 0.09
Transformer TTS (Mel + WaveGlow)	3.88 ± 0.09
FastSpeech (Mel + WaveGlow)	3.84 ± 0.08

FastSpeechは、メルスペクトログラム生成を269.40倍、エンドツーエンドの音声合成を38.30倍高速化しました。

Method	Latency (s)	Speedup
Transformer TTS (Mel)	6.735 ± 3.969	/
FastSpeech (Mel)	0.025 ± 0.005	269.40×
Transformer TTS (Mel + WaveGlow)	6.895 ± 3.969	/
FastSpeech (Mel + WaveGlow)	0.180 ± 0.078	38.30×

特に難しい50文に対して、FastSpeechは単語の飛ばしや繰り返しの問題をほぼ完全に解消しました。

Method	Repeats	Skips	Error Sentences	Error Rate
Tacotron 2	4	11	12	24%
Transformer TTS	7	15	17	34%
FastSpeech	0	0	0	0%

FastSpeechは、音声の速度を0.5倍から1.5倍まで滑らかに調整でき、さらに単語間の休止を追加することで韻律の一部を制御できることが示されました。

Voice Speed Control

FastSpeechは、高速で堅牢、かつ制御可能なTTSシステムを実現しました。今後の課題として以下が挙げられています：

FastSpeechは、TTSの実用化に向けて大きな一歩を踏み出した革新的なモデルと言えるでしょう。