新上线今天0 投票
GRAFT：精准控制单词发音的零样本文本转语音新方法
概述
零样本文本转语音（TTS）技术近年来取得了显著进步，在自然度和可懂度上表现优异。然而，现有系统在处理罕见专有名词、外来词和技术术语时，常因文本本身的歧义性而导致发音错误。即使是基于音素（phoneme）条件控制的模型，也无法对每个单词的发音进行精细的声学调控。
针对这一痛点，来自多家机构的研究者联合提出了一种名为 GRAFT 的全新方法。相关论文已提交至 arXiv 预印本平台。GRAFT 全称为“Grafted Reference Audio for Fine-grained Pronunciation”，其核心思想是利用一个简短的语音样本作为“提示”，精准控制目标单词在合成语音中的发音，同时保持目标说话人的音色不变。
技术原理
GRAFT 的工作流程可以概括为“嫁接”：
- 提示音编码：用户提供某个单词的简短发音片段（可来自任意说话人），该片段经过模型自身的语音分词器（speech tokenizer）编码，形成声学表示。
- 位置绑定：将编码后的提示音信息与目标单词在输入文本中的位置进行绑定，确保模型在合成时将该声学特征“植入”到对应位置。
- 说话人解耦：在训练阶段，通过语音转换（voice conversion）技术构建数据对，将提示音中的说话人特征与目标说话人特征分离。这样，无论提示音来自谁，模型都能在输出中保持目标说话人的音色，实现“用别人的发音说自己的话”。
整个机制基于神经编解码语言模型（neural codec language modeling），在保持原有文本到语音生成框架的基础上，额外引入了单词级别的发音控制流。
实验结果
研究者在英语和五种语言的客观基准上对 GRAFT 进行了全面评估：
- 主观听感测试：在盲听实验中，人类评分员一致将 GRAFT 排在首位，认为其对困难单词的发音最接近真实参考录音。
- 客观指标：在五语言基准测试中，GRAFT 将目标单词的音素错误率（PER）降低了 22% 至 39%，显著优于仅使用文本的基线模型以及当前主流的开源零样本 TTS 系统（包括基于音素和基于文本的条件模型）。
- 保真度：在提升发音准确性的同时，GRAFT 在说话人相似度和整体自然度方面与现有系统持平，未出现明显的性能折损。
行业意义
GRAFT 的出现为 TTS 在专业领域的落地扫清了一个关键障碍。例如，在语音助手、有声书朗读、多语言内容生成等场景中，准确发音人名、地名和行业术语是用户体验的核心。GRAFT 提供了一种轻量级、可插拔的解决方案，无需重新训练整个模型，仅需一段简短的参考音频即可修正特定单词的发音。
未来，研究者可进一步探索如何将 GRAFT 扩展到更细粒度的韵律控制（如重音、语调），以及如何在低资源语言上保持效果。总体而言，这项工作为精细化的语音合成控制开辟了新的方向。