2月10日

DeepSeekMath：挑战大语言模型的数学推理极限

DeepSeekMath，一个7B模型但有逼近GPT-4的数学推理能力，在MATH基准榜单上超过一众30B~70B的开源模型。数据：来自Common Crawl提取的120B高质量数学网页数据，总数据量是开源数据集OpenWebMath的9倍。训练：使用了代码领域模型DeepSeek-Coder-v1.5初始化，可以获得比从通用用模型初始化更好的数学能力。对齐：引入了PPO变体的强化学习算法GRPO，丢弃了Critic Model，显著减少了训练显存并提升了对齐效果。实验：在中英数学基准榜单上超过Mistral 7B、Llemma-34B，逼近GPT-4能力，跟Minerva 540B效果相当。来源：微信公众号【DeepSeek】

“AI队友”悟性高，上海AI实验室推出多模态交互智能体框架OpenPAL

上海人工智能实验室（上海AI实验室）推出智能体框架OpenPAL，首次在多人实时竞技环境中验证了AI智能体在执行开放任务时的人机交互能力。当面对未知环境时，OpenPAL可通过自我探索学习实现“进化”，同时，相较于传统智能体框架，其部署成本更低，将为人类提供更友好、更可靠的“AI队友”支持，实现“人机共智”。多人实时竞技环境因其环境多样和任务随机性，通常被视作研究开放任务学习的理想环境。在与人类组队竞技时，OpenPAL在适应陌生环境后，不仅提前预判了有效的“进攻”集结点，还自发学会了借助墙壁、草丛等掩体，避开“敌人”视线，悄悄接近集结点。当人类通过语言明确任务目标后，OpenPAL在遵循指令的基础上，巧妙借助地形与建筑优势，从不同方向配合对“敌人”发动了“进攻”，表现出了良好的人机协同性。来源：微信公众号【 上海人工智能实验室】