SoulX-Podcast ： Soul推出的多说话人语音合成模型

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

SoulX-Podcast 是由 Soul App AI 团队（Soul AI Lab）自主研发并开源的多说话人语音合成模型，专为多人、多轮对话场景设计。该模型支持中、英、川、粤等多语种及方言，能够生成自然流畅、角色切换准确、韵律起伏丰富的多轮语音对话，适用于播客、有声读物、教育内容、娱乐游戏及企业培训等领域。

功能特点

1. 多轮对话流畅自然：支持超过60分钟（甚至90分钟）的连贯对话生成，保持音色和情感连续性。
2. 多方言支持：除中英文外，还支持四川话、河南话、粤语等主流方言，并实现跨方言音色克隆。
3. 副语言控制：支持笑声、清嗓等副语言元素的可控生成，增强语音真实感。
4. 零样本语音克隆：无需目标说话人语音样本，即可生成高质量个性化语音。
5. 多说话人建模：通过说话人嵌入技术，自然切换不同说话人语音。

优缺点

优点：

• 支持超长对话生成，音色和情感稳定。
• 方言覆盖广泛，跨方言克隆能力突出。
• 副语言控制增强语音表现力。
• 零样本克隆降低使用门槛。

缺点：

• 在极端方言或复杂场景下，语音自然度可能略有下降。
• 对硬件资源有一定要求，尤其在生成超长对话时。

如何使用

1. 访问项目地址：前往 GitHub 仓库（https://github.com/Soul-AILab/SoulX-Podcast）或 HuggingFace 模型库，获取模型代码和预训练权重。
2. 准备输入：提供对话文本（支持多轮、多说话人）及参考语音（用于零样本克隆）。
3. 运行推理：使用提供的脚本或界面，加载模型并生成语音。
4. 调整参数：根据需要调整副语言控制、方言类型等参数。
5. 导出结果：保存生成的语音文件，用于播客、有声读物等场景。

框架技术原理

SoulX-Podcast 采用 LLM + Flow Matching 的语音生成范式：

• LLM 部分：以 Qwen3-1.7B 为基座模型，建模语义 token，继承其语言理解能力。
• Flow Matching 部分：进一步建模声学特征，确保语音生成的精准度。
• 多说话人建模：引入说话人嵌入技术，区分不同说话人语音特征。
• 跨方言生成：采用方言引导提示（DGP）方法，实现方言零样本生成。

创新点

1. 跨方言音色克隆：支持通过普通话提示生成方言语音。
2. 超长对话稳定性：优化注意力机制和解码器结构，避免音色漂移和情感不连贯。
3. 副语言控制：通过文本标记融入非语言信息，增强语音真实感。
4. 零样本克隆：无需目标语音样本，即可生成个性化语音。

评估标准

1. 语音可懂度：生成语音的清晰度和准确性。
2. 音色相似度：零样本克隆下，生成语音与参考语音的相似程度。
3. 自然度：语音的流畅性、韵律和副语言表现。
4. 稳定性：超长对话中的音色和情感连续性。
5. 方言支持：对方言的覆盖范围和生成质量。

应用领域

1. 播客制作：生成科技、文化、娱乐等各类播客内容。
2. 有声读物：生成多角色对话，使内容更生动有趣。
3. 教育内容：增强语言学习、历史故事讲解的互动性。
4. 娱乐和游戏：为游戏、动画和视频制作自然的多角色语音。
5. 企业培训：生成模拟对话，帮助员工进行沟通技巧和客户服务培训。

项目地址

• GitHub 仓库：https://github.com/Soul-AILab/SoulX-Podcast
• HuggingFace 模型库：https://huggingface.co/collections/Soul-AILab/soulx-podcast
• 项目官网：https://soul-ailab.github.io/soulx-podcast/
• 技术报告：https://arxiv.org/pdf/2510.23541