随着人工智能的不断发展，自然语言处理、自然语言生成和计算机视觉这些领域最近取得了巨大的流行，这都要归功于大型语言模型的引入。扩散模型在生成文本到语音合成（TTS）方面已经证明非常成功，显示出了很高的生成质量。然而，它们的先验分布受限于引入噪声并对所需生成目标提供很少信息的表示形式。
最近的研究中，清华大学和微软亚洲研究院的研究人员团队介绍了一种名为Bridge-TTS的新的文本到语音系统。这是首次尝试在已建立的扩散式TTS方法中利用干净可预测的替代方法替代噪声高斯先验。该替代先验提供了有关目标的强结构信息，并从文本输入提取的潜在表示中获取。
该团队表示，主要贡献在于开发出了一个完全可管理的薛定谔桥，它连接了真实的梅尔谱图和干净的先验。建议的Bridge-TTS使用的是一种数据到数据的过程，这比起扩散模型的数据到噪声过程改善了先前分布的信息内容。
该团队已经对这种方法进行了评估，并在LJ-Speech数据集上进行了实验验证，评估结果突出显示了建议方法的有效性。在50步骤/1000步骤合成设置中，Bridge-TTS表现出比扩散对应方法Grad-TTS更好的性能。它甚至在少量步骤的情况下比强大且快速的TTS模型表现更好。Bridge-TTS方法的主要优势在于合成质量和采样效率。
该团队总结了主要贡献如下。
- 从无污染的文本潜在表示中产生了梅尔谱图。与传统的数据到噪声过程不同，这个作为扩散模型上下文中的条件信息的表示形式被设计成无噪声。薛定谔桥被用来研究数据到数据的过程。
- 针对配对数据，提出了一个完全可计算的薛定谔桥。这个桥使用柔性形式的参考随机微分方程（SDE）。这种方法允许对设计空间进行实证调查，并提供了一个理论解释。
- 研究了采样技术、模型参数化和噪声调度如何对改善TTS质量发挥作用。还实现了不对称噪声调度、数据预测和一阶桥采样器。
- 完全可计算的薛定谔桥使得对底层过程的完整理论解释成为可能。通过实证研究，我们可以了解到不同因素如何影响TTS的质量，包括不对称噪声调度、模型参数化决策和采样过程的效率。
- 该方法在推理速度和生成质量方面取得了很好的结果。在1000步和50步的生成情况下，它明显优于基于扩散的Grad-TTS。它在4步生成中也优于FastGrad-TTS，优于基于transformer的模型FastSpeech 2和最先进的蒸馏方法CoMoSpeech在2步生成中。
- 该方法仅经过一次训练就取得了出色的结果。这种效率在创作过程的多个阶段都可见，展示了建议方法的可靠性和效力。