FireRedChat：小红书推出的全双工大模型语音交互系统

主要介绍

FireRedChat是小红书智创音频团队推出的业内首个支持私有化部署的全双工大模型语音交互系统，旨在解决传统语音助手交互生硬、依赖外部API、数据安全不可控等问题。该系统通过模块化设计实现全链路可控，覆盖从音频输入到语音合成的完整流程，支持用户与AI代理实时双向对话、精准插话，并具备情绪感知与情感合成能力，适用于智能客服、车载助手、教育陪伴等场景。其核心优势在于“全双工+私有化+开源”的组合，既提供接近工业级的实时交互体验，又确保数据安全与企业级定制需求。

功能特点

1. 全双工语音交互：支持用户与AI同时说话并实现可控打断，170ms内检测插话，插话成功率达90%，误打断率仅10.2%。
2. 模块化架构：由LiveKit RTC Server（实时音视频通信）、AI-Agent Bot Server（主控逻辑）、WebUI（可视化交互界面）、Redis Server（分布式存储）等组件构成，支持级联（ASR→LLM→TTS顺序执行）与半级联（融合语音情感特征）两种模式。
3. 自研核心技术：
   • pVAD（流式个性化语音活动检测）：区分主说话人与背景噪声，减少误触发。
   • EoT（语义回合结束检测器）：分析ASR输出的语义完整性，避免“一句话没说完就响应”或“等待过久”。
   • AudioLLM与TTS联动：捕捉用户声学线索（如语气急促），生成富有情感的回应。
4. 私有化部署：所有模块支持本地化部署，数据不出内网，无第三方API调用，满足金融、医疗等行业的合规需求。
5. 低延迟与高鲁棒性：端到端延迟P50为2.341秒，P95为3.015秒，接近工业级产品（如字节跳动DouBao），显著优于开源框架LiveKit和Ten。

优缺点

• 优点：
  • 自然交互：支持实时打断与情绪感知，AI回应更具“人感”（如用户失落时安慰鼓励）。
  • 数据安全：私有化部署确保数据不外泄，适合对合规要求高的企业。
  • 灵活定制：开源代码与模块化设计支持开发者二次开发，适应多场景需求。
• 缺点：
  • 技术门槛：需自行接入大模型服务（如Ollama、vLLM），对非技术用户不友好。
  • 初期覆盖有限：作为新工具，测试任务可能未完全覆盖所有细分场景，需持续迭代。

主要应用场景

1. 智能语音助手：在智能家居、车载系统中实现自然对话，支持设备控制与信息查询。
2. 客服与外呼：在商场、车站等嘈杂环境中稳定识别用户需求，提升服务效率。
3. 教育与心理陪伴：通过情绪感知提供共情回应，增强在线教育互动体验。
4. 企业级应用：金融、医疗等行业利用私有化部署保障数据安全，同时降低技术成本。

使用方法

1. 环境配置：从GitHub克隆仓库（https://github.com/FireRedTeam/FireRedChat），按文档安装依赖库（如Python、PyTorch）。
2. 模型接入：自行部署大模型服务（如Ollama、vLLM），或使用社区提供的现成模型。
3. 启动服务：通过命令行运行各模块（如LiveKit RTC Server、AI-Agent Bot Server）。
4. 可视化交互：访问WebUI（https://firered-chat.xiaohongshu.com）进行在线测试与调试。
5. 定制开发：基于模块化设计修改代码，或通过插件扩展功能（如RAG检索增强）。

收费标准

FireRedChat完全免费开源，用户可自由下载、使用及修改代码，无任何隐藏费用或订阅制度。

官网地址

• GitHub仓库：https://github.com/FireRedTeam/FireRedChat
• 在线体验：https://firered-chat.xiaohongshu.com
• 技术报告：https://arxiv.org/pdf/2509.06502