Month: August 2023

你有没有考虑过像ChatGPT这样的大型语言模型如何获得遵循指令的能力？各种基础语言模型通过监督微调（SFT）来获得这种能力。SFT的成功关键因素是数据集的多样性和复杂性。它们的定性分析和定义需要更加清晰。 阿里巴巴达摩院的研究人员提出了一种名为“InsTag”的开放集合细粒度标记器，根据语义和意图对SFT数据集中的样本进行标记，以定义任务的指令多样性和复杂性。他们声称，随着数据的复杂性和多样性增加，模型的能力也会增长。 研究人员还提出了一种基于InsTag的数据选择器，从开源数据集中选择6K个多样性和复杂性样本，并在InsTag选择的数据上进行模型微调。他们声称，包含各种语义和特点的大范围训练数据对于与人类预期完全一致的良好对齐LLM具有重要意义，可以准确识别人类意图并以自然语言形式适当地规范回应。 InsTag是一种由高性能聊天机器人ChatGPT赋能的自动指令标记方法。它是一个框架，自动提示ChatGPT为查询分配标签。ChatGPT使用系统化的标签规范技术来解释每个分配的标签。当InsTag应用于现有的开源数据集时，它构建了开放集合、经过精细训练的标签，并进一步详细分析以获得基于复杂性和多样性的分布。使用InsTag选择器选中的数据进行LLM微调在MIT-Benchmark上表现更好。 在尝试使用ChatGPT生成意图标签时，研究人员确定了三种类型的噪音。由于ChatGPT在遵循输出格式指令方面的不稳定性，会产生词法噪音。过于具体的标签会创建不受控制的细粒度，导致噪音。由于ChatGPT的偏见，一些标签经常同时出现，导致虚假相关性。 为了解决这些问题，他们使用格式、语义和关联等各个方面对开放集合的标记结果进行规范化。他们首先过滤掉出现次数少于特定集合参数（称为超参数，与数据集的规模相关）的长尾标签。所有标签都转换为小写字符，以避免大写字母的影响。最后，对每个标签应用词干提取技术，词干提取是一种通过去除词缀来提取单词的基本形式的技术。 研究人员选择了13B版本的LLaMA进行微调，同时还进行了其他类似的LLM比较。他们的结果显示，他们的模型在MIT-Bench上取得了6.44的平均分，优于所有开源对齐的LLM。 总之，研究人员表示，他们提出的InsTag为更深入理解LLM对齐中的查询分布提供了一种新的视角。它具有广泛的潜力，可扩展到更多应用领域，如全面评估和基于标签的自我指导。

多种机器学习应用，包括文本、视觉和音频，在生成模型技术方面已经取得了快速且显著的发展。这些发展对行业和社会产生了重要影响。尤其是具有多模态输入的生成模型已成为真正的创新发展。零样本文本到语音（TTS）是语音领域中一个众所周知的语音生成问题，它使用音频文本输入。只使用预期说话者的一个小音频片段，零样本TTS可以将文本源转化为具有该说话者声音特质和说话方式的语音。早期零样本TTS的研究中使用了固定维度的说话者嵌入。这种方法并没有有效地支持说话者克隆能力，并将其使用限制在TTS上。 然而，最近的策略包括更广泛的概念，如遮蔽语音预测和神经编解码语言建模。这些前沿方法使用了目标说话者的音频，而不是将其压缩为一维表示。因此，这些模型除了出色的零样本TTS性能之外，还展示了新的功能，如语音转换和语音编辑。这种增强的适应性可以极大地扩展语音生成模型的潜力。尽管这些当前的生成模型取得了令人惊叹的成就，但它们仍然存在一些限制，特别是在处理包括转换输入语音的多样化音频文本生成任务时。 例如，当前的语音编辑算法仅限于处理干净的信号，并且无法在保持背景噪声的同时改变说话内容。另外，讨论的方法通过要求噪声信号被干净的语音片段包围以完成降噪，从而对其实际应用性产生了重大限制。目标说话者提取是一个在处理不干净语音时特别有帮助的任务。目标说话者提取是从包含多个说话者的语音混合物中去除目标说话者的声音的过程。您可以通过播放他们的一个小语音片段来指定您想要的说话者。正如前面提到的，尽管具有潜在重要性，但当前一代的生成语音模型无法处理这个任务。 在传统的语音增强任务（如降噪和目标说话者提取）的可靠信号恢复中，回归模型在以往的方法中一直被使用。然而，这些早期的技术有时需要为每个任务使用不同的专家模型，这在考虑到可能出现的各种声学干扰时并不理想。除了侧重于某些语音改进任务的小型研究之外，还有很多研究需要在使用参考转录产生可理解语音的完整音频文本生成模型上进行。在所述因素和其他学科中取得的成功先例的背景下，集成生成和转换能力的音频文本生成语音模型的发展具有重要的研究意义。 图1：SpeechX的整体布局。SpeechX使用经过训练的文本和声学令牌流的神经编解码语言模型，执行各种基于音频文本的语音生成任务，如降噪、语音去除、目标说话者提取、零样本TTS、干净语音编辑和噪声语音编辑。对于某些任务，不需要文本输入。 这些模型具有处理各种语音生成任务的广泛能力。它们表明这些模型应包括以下关键特征： • 多功能性：统一的音频文本生成语音模型必须能够执行从音频和文本输入中生成语音的各种任务，类似于其他机器学习领域中产生的统一或基础模型。这些任务不仅包括零样本TTS，还应包括许多类型的语音改变，例如语音增强和语音编辑。 • 容忍度：由于统一模型可能在声学困难的环境中使用，它们必须对各种声学扭曲表现出容忍度。由于这些模型提供可靠的性能，它们可以在常见的背景噪声存在的现实情况下具有实用性。 • 可扩展性：统一模型必须使用灵活的架构，以支持平滑的任务扩展。一种方法是为新组件提供空间，例如额外的模块或输入标记。由于这种灵活性，模型将能够更好地适应新的语音生成任务。微软公司的研究人员在本文中介绍了一种灵活的语音生成模型来实现这个目标。它能够执行多个任务，如零-shot TTS、使用可选的转录输入进行噪声抑制、语音去除、使用可选的转录输入进行目标说话人提取，以及在安静和嘈杂的声学环境中进行语音编辑（图1）。他们将SpeechX1指定为推荐模型。 与VALL-E一样，SpeechX采用语言建模方法，根据文本和声学输入生成神经编解码模型的代码，或声学标记。为了实现处理多样化任务的能力，他们在多任务学习设置中加入了额外的标记，这些标记共同指定要执行的任务。实验结果使用来自LibriLight的60K小时语音数据作为训练集，证明了SpeechX的有效性，在所有上述任务中展示了与专家模型相媲美或更优越的性能。值得注意的是，SpeechX展示了保留语音编辑期间的背景声音以及利用参考转录进行噪声抑制和目标说话人提取等新颖或扩展的能力。展示他们提出的SpeechX模型能力的音频样本可在https://aka.ms/speechx获取。