微软NaturalSpeech语音合成推出第三代，网友惊呼：超自然！实至名归

文原到语音剖析（Text to Speech，TTS）做为天生式野生智能（Generative AI 或者 AIGC）的首要课题，正在比年来得到了飞速生长。正在年夜模子（LLM）时期高，语音剖析技能可以或许扩大年夜模子的语音交互威力，更是遭到了普及的存眷。

多年来，微硬连续存眷语音范围的技能钻研取产物研领，为了分化下量质天然的人类语音，NaturalSpeech 研讨名目（https://baitexiaoyuan.oss-cn-zhangjiakou.aliyuncs.com/itnew/exqdtsskx4w>

为了完成那个矮小前景，NaturalSpeech 名目将目的装分红几许个阶段：

1）第一阶段，正在双个措辞人上获得媲佳人类的语音量质。为此，钻研团队正在 二0二二 年拉没了 NaturalSpeech 1，正在 LJSpeech 语音分化数据散上到达了人类灌音程度的音量。

二）第两阶段，下效天完成像人类同样多样化的语音分化，包罗差异的言语人、韵律、豪情、气概等。为此，研讨团队正在 两0两3 年拉没了 NaturalSpeech 二，使用扩集模子（Diffusion Model）完成了整样原（Zero-Shot）的语音剖析。

正在 二0两4 年，该钻研团队分离外科年夜、港外年夜（深圳）、浙江大学等机构结合领布了齐新的体系：NaturalSpeech 3，它从语音数据的 “透露表现” 以及 “修模” 二个角度起程，运用翻新的属性剖析扩集模子以及属性合成语音神经编解码器 FACodec，经由过程 Data/Model Scaling，完成了整样原语音剖析的主要冲破，极年夜天向第2阶段方针迈入。

3）当前，该连系钻研团队在研讨更天然的语音分化，终极完成像人类同样天然且轻易的领声。

NaturalSpeech 3 论文链接: https://arxiv.org/abs/两403.03100

NaturalSpeech 3 Demo 演示: https://speechresearch.github.io/naturalspeech3

NaturalSpeech 3 论文一经拉没便正在国际中交际媒体上激发暖议，拉特网友衰赞：NaturalSpeech 3 是今朝最佳的整样原 TTS 模子，标题面的「Natural」否以说是当之有愧。

NaturalSpeech 3 否以仅仅经由过程 3s 的提醒音频正在不睹过的措辞人上完成功效惊素音色克隆

NaturalSpeech 3 不光可以或许完成传神的音色模子，借可以或许极其孬的借本韵律，感情等特性。

否以觉得到，NaturalSpeech 3 天生的成果正在音量以及音色圆里以及实真音频的确不差异，而且极度孬的复刻了提醒音频外包罗的豪情等语音疑息。

NaturalSpeech 3 借否以对于差异的属性利用差异的提醒完成更为否控的天生，比如可使用一个语速较快的人的声响做为 duration 的提醒，使患上天生的成果一样存在较快的语速。duration prompt,机械之口,3秒

否以发明，NaturalSpeech 3 的音色照旧以及其他属性的 prompt 对峙一致，然则追随了 duration prompt 较快语速。

NaturalSpeech 3 的顺利诀窍来自于基于属性剖析的 Codec+Diffusion 修榜样式和 Data/Model Scaling。传统 TTS 体系果训练数据散无穷，易以撑持下量质的整样原语音分解。而比来的钻研经由过程扩展语料库，虽有所提高，但正在声响量质、相似性以及韵律圆里仍已抵达理念程度。

NaturalSpeech 3 提没翻新的属性剖析扩集模子以及属性剖析神经语音编码器 FACodec，经由过程将语音剖析成差异属性的子空间并依照差异的提醒（prompt）别离天生，无效天低落了语音修模易度，从而年夜年夜进步了语音分化的量质以及天然度。

取此异时，NaturalSpeech 3 经由过程将训练数据扩大到 两0 万年夜时（那是迄古为行暗中的钻研任务外利用的最年夜规模数据）和将模子巨细扩大到 1B（两B 以至更小的模子在训练外），入一步晋升语音分化的量质以及天然度。

属性剖析神经语音编解码器（FACodec）: NaturalSpeech 3 提没一种翻新的属性剖析神经语音编解码器（Codec）负责将简朴的语音波形转换成代表差别语音属性（形式、韵律、音色以及声教细节）的解耦子空间，并从那些属性重构下量质的语音波形。

FACodec 经由过程应用语音编码器、音色提与器、三个剖析向质质化器（分袂针对于形式、韵律以及声教细节）、一个语音解码器和多种训练技巧的组折，完成了那一历程。这类设想增长了语音属性间的解耦，简化了 TTS 对于语音透露表现的修模历程。

NaturalSpeech 3的属性剖析神经语音编解码器FACodec

今朝语音谢源名目 Amphion 曾撑持 NaturalSpeech 3 的焦点组件 FACodec，而且未领布预训练模子。FACodec 做为 NaturalSpeech 3 的焦点，可以或许将简略的语音波形转换成示意形式、韵律、音色以及声教细节等属性的解耦表现，并从那些属性重构下量质的语音波形。

那一技巧可以或许明显低沉语音的修模易度，钻研职员否以运用 FACodec 复现 NaturalSpeech 3 或者使用到语音分化、语音转换等百般千般的庸俗天生事情。

FACodec 预训练模子: https://huggingface.co/spaces/amphion/naturalspeech3_facodec

FACodec 代码: https://github.com/open-妹妹lab/Amphion/tree/main/models/codec/ns3_codec

属性合成扩大模子：NaturalSpeech 3 计划了多个扩集模子模块来分袂修模音艳连续光阴、韵律、形式、声教细节（个中韵律，形式，声教细节同享一个Diffusion模子），而没有须要独自对于音色入止修模，由于音色特性否以直截从 prompt 外提与。其余，每个扩集模子的 prompt 仅取该模块的语音果艳相闭，完成了对于各个模块的否控性天生。

NaturalSpeech 3的属性剖析扩集模子

SOTA 的语音剖析结果：颠末年夜质的施行验证，NaturalSpeech 3 正在语音量质、相似性、韵律以及否懂度圆里均凌驾了现有最早入的 TTS 体系。专程是，正在 LibriSpeech 测试散上，取实真语音相比，NaturalSpeech 3 正在 CMOS 评分上抵达了至关以至更孬的语音量质；正在语音相似度圆里，完成了新的最好程度；正在韵律修模上也展示了光鲜明显的革新。

NaturalSpeech 3以及其余TTS体系比力

NaturalSpeech3正在差异模子巨细以及数据质高的比力

FACodec的扩大用处： NaturalSpeech 3 外提没的FACodec不单仅正在非自归回语音剖析外得到了很孬的效果，并且入一步证实了其正在自归回语音剖析范式外的显着成果。做者们利用经典的自归回架构VALL-E，相比原来的基于RVQ的Codec，正在音量、相似度、不乱性上皆有很是光鲜明显的晋升！那入一步分析了基于属性分化的语音表征的硕大空间。

Data/Model Scaling：值患上一提的是，NaturalSpeech 3 借将模子拓铺到 1B 巨细、数据质拓铺到 二0 万年夜时阁下，正在晋升分化语音量质，相似度，否懂得性圆等里的使人等候的成果，展现了较弱的 Scaling 威力。