10月14日·李飞飞团队「数字表亲」技术突破机器人训练难题

160 0 0

10月14日·周一 AI工具和资源推荐

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

李飞飞团队「数字表亲」技术突破机器人训练难题

斯坦福大学李飞飞团队提出了一种名为「数字表亲」的新技术，有效解决了机器人训练中模拟数据与现实环境差异的问题。该技术通过自动化流程从单幅图像生成交互式场景，不仅降低了成本，还提高了学习的普遍性。实验显示，使用「数字表亲」训练的机器人策略在零样本情况下的成功率高达90%，远超过数字孪生的25%。这项技术的成功不仅展示了其在模拟到现实迁移中的鲁棒性，还证明了其在现实世界中的应用潜力。来源：微信公众号【新智元】

纽约大学谢赛宁提出扩散模型训练新方法REPA

纽约大学的研究者谢赛宁及其团队提出了一种名为REPA（REPresentation Alignment）的表征对齐技术，这一技术能够显著提升扩散模型的训练效率和生成质量。谢赛宁强调，传统扩散模型训练方法可能存在误区，而REPA通过将预训练的自监督视觉表征蒸馏到扩散Transformer，使得模型能够利用丰富的外部表征进行生成，从而大幅提升性能。实验结果显示，REPA能将模型的收敛速度提升17.5倍以上，并在无分类器引导的情况下取得了FID=1.42的优异结果。这一发现不仅得到了Yann LeCun的认可，也为生成模型的表征学习提供了新的方向。来源：微信公众号【新智元】

首个类o1开源RL框架OpenR发布，由多所高校联合开发

由伦敦大学学院（UCL）、上海交通大学、利物浦大学、香港科技大学（广州）和西湖大学联合团队开发的首个类o1全链条训练框架OpenR正式发布。OpenR是一个集成了过程奖励模型（PRM）训练、强化学习、多种搜索框架的开源代码库，旨在提升大型语言模型（LLM）的复杂推理能力。该框架受到OpenAI的o1模型启发，采用模型方法超越传统自回归方法，并通过MATH数据集上的评估展示了其有效性。OpenR的开源，包括代码、模型和数据集，旨在推动推理领域开源社区的发展。该框架支持多种解码方法，允许用户使用几行代码即可实现PRM的训练和强化学习训练，方便实验和测试。来源：微信公众号【机器之心】

首个开源多模态大模型评测器LLaVA-Critic发布

字节跳动和马里兰大学的研究团队联合发布了首个开源多模态大模型评测器LLaVA-Critic，旨在为多任务评测提供通用的评测能力。该评测器通过在多样化评测场景和评分标准的数据集上进行训练，学会了对模型回复给出合理评分和打分依据。研究团队还构建了一个包含46k张图片和113k个评测数据样本的评测指令遵循数据集，用于训练和验证LLaVA-Critic的有效性。LLaVA-Critic在多模态评测和偏好学习两个场景中表现出与人类和GPT-4o高度一致的评测准确率，为自动评测多模态大模型的开放式回复提供了一个有效的开源解决方案，同时减少了对人工反馈的依赖，优化了模型的偏好对齐效果。来源：微信公众号【机器之心】

港大开源LightRAG系统：高效检索增强的大模型

香港大学与北京邮电大学的研究人员联合开源了一款新型RAG（Retrieval-Augmented Generation）系统——LightRAG，该系统通过使用图结构数据进行增强，有效提升了大模型处理私有数据库查询的能力。LightRAG系统针对现有RAG方法的局限性，如扁平的向量化表示和缺乏实体间相互联系的探索，引入了基于图的数据结构来改善这些问题。LightRAG的设计重点在于信息检索的全面性、效率以及对新数据的快速适应能力。实验表明，LightRAG在多个数据集上的性能表现优于基线模型，尤其在全面性和多样性两个维度上。此外，LightRAG在检索效率和资源消耗上也展现了明显优势，使其在实际应用中更具竞争力。来源：微信公众号【新智元】