9月23日·国内团队研发LLaMA-Omni：低延迟语音交互模型

35 0 0

9月23日·周一 AI工具和资源推荐

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

国内团队研发LLaMA-Omni：低延迟语音交互模型

中国科学院计算技术研究所与中国科学院大学的研究人员提出了一种新型模型架构——LLaMA-Omni，旨在实现与大型语言模型（LLM）的低延迟、高质量语音交互。该模型由语音编码器、语音适配器、LLM和流式语音解码器组成，能够直接从语音指令生成文本和语音响应，无需生成中间文本，显著降低了响应延迟。LLaMA-Omni在InstructS2S-200K数据集上进行训练，表现出色，其响应延迟低至226毫秒，优于GPT-4o的320毫秒平均音频响应延迟。此外，该模型在训练数据和计算资源方面也显著减少，仅用4块GPU在不到3天内完成训练，展现了其高效性。来源：微信公众号【机器之心】

上海AI Lab发布新一代视频生成大模型“书生·筑梦 2.0”

上海人工智能实验室近日宣布推出其新一代视频生成大模型“书生·筑梦 2.0”（Vchitect 2.0），标志着视频生成技术的又一重大突破。该模型不仅支持5秒至20秒的长视频生成，还提供高达720×480分辨率的视频输出，并能处理多种视频格式，包括横屏、竖屏、4:3、9:16和16:9等比例。此外，筑梦 2.0 还集成了新一代视频增强算法 VEnhancer，该算法能够在2K分辨率、24fps下生成更清晰、流畅的视频，有效解决了视频抖动等常见问题。同时，筑梦 2.0 还开源了其训练和推理框架 LiteGen，该框架通过优化显存使用和序列长度，支持更大序列长度的训练，满足分钟级视频生成训练的需求。上海人工智能实验室的这一创新成果，无疑将为视频内容创作者提供强大的技术支持。来源：微信公众号【机器之心】

OpenAI新模型o1引领推理算力革命，AI PC与CPU迎新机遇

OpenAI最新模型o1在逻辑推理能力上取得突破，通过强化学习训练和增加思考时间，达到了推理能力的新高。北大评测显示，o1-mini模型的得分甚至超过了o1-preview，表明小模型通过专业化强化推理能力，而非依赖参数中存储的大量知识，能够实现更深入的性能提升。面对AI同时掌握高阶推理和大量知识的需求，大模型和RAG（Retrieval-Augmented Generation）的组合成为新焦点。向量数据库在此过程中发挥关键作用，提供快速有效的数据检索和处理能力，增强了模型性能。星环科技与英特尔合作，提出结合高性能CPU和AI PC的解决方案，通过分布式向量数据库优化大模型部署，满足企业对高效、经济AI应用的需求。来源：微信公众号【量子位】

吉利汽车自研HAM-TTS语音大模型超越SOTA，性能提升10%

吉利汽车在人工智能领域取得重大突破，其自研的语音大模型 HAM-TTS在语音合成技术上超越了先前的最佳成果VALL-E，实现了性能的显著提升。HAM-TTS模型在发音准确性、自然度和说话人相似度方面均有改进，尤其在字符错误率上比VALL-E降低了2.3%，在风格一致性、音调一致性和整体得分上提升了约10%。该模型支持跨语种无缝切换，并能在保持音色一致的条件下流畅使用中文或英文进行语音合成。此外，HAM-TTS在声音复刻能力上仅需3秒钟的样本输入，大大减少了样本需求。这一进步不仅提升了智能座舱的交互体验，也展现了吉利在智能化领域的技术实力。来源：微信公众号【量子位】

ChatGPT操作系统现身计算器，开源代码引发关注

技术爱好者ChromaLock将德州仪器的TI-84 Plus Silver计算器改装为可运行ChatGPT的设备，该项目名为TI32。除了ChatGPT，TI32还支持在线聊天、图片存储和游戏下载。ChromaLock不仅发布了制作教程，还开源了所有代码。改装过程涉及软硬件改造，包括加装WiFi模块和设计PCB电路板。尽管改装后的计算器可能被用于考试作弊，但作者声明仅出于教育目的，并不鼓励学术不诚信行为。此项目展示了AI技术在小型设备上的应用潜力，同时引发了关于技术伦理的讨论。来源：微信公众号【量子位】