3月17日

首个AI软件工程师Devin完整技术报告出炉，还有人用GPT做出了「复刻版」

这周三，Cognition AI 团队发布的首个 AI 软件工程师 Devin 引爆了 AI 社区，引发了人们对程序员这个职业未来前景的热议。在对 Devin 的评估中，团队使用了 SWE-bench。这是一个由 GitHub 问题和拉取请求组成的软件工程系统的自动化基准测试。他们认为 SWE-bench 是一个不错的选择，它确定性地评估（通过单元测试）系统解决现实世界代码库问题的能力，并与 HumanEval 等仅限于独立功能的基准测试不同。从结果来看，在 SWE-Bench 基础测试中，无需人类辅助，Devin 就可以解决 13.86% 的问题。而当前 SOTA 模型，在没有人类帮忙的情况下，只能完成 1.96% 的问题。即使提供了要编辑（辅助）的确切文件，当前 SOTA 模型也只能解决 4.80% 的问题。结果显示，Devin 成功解决了 570 个问题中的 79 个问题，成功率为 13.86%。这甚至比之前 SOTA 大模型（Claude 2）的 4.80% 还要高得多。来源： 微信公众号【机器之心】

自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim

哈工大联合度小满推出针对多模态模型的自适应剪枝算法 SmartTrim，论文已被自然语言处理顶级会议 COLING 24 接收。本文首先针对 VLM 中每一层的 token 表示和 attention head 的冗余情况进行分析，如下图所示。我们有了以下发现：（1）无论是哪种模态的 token 或者 head，层内相似性始终很高，说明模型是存在显着冗余。（2）Token 的冗余度随着深度而逐渐增加。（3）不同实例之间的冗余程度差异较大，进一步说明依赖于输入的自适应剪枝对于 VLM 加速的重要性。与前人方法相比，SmartTrim 不需要额外的预训练，而且还通过 token 和 head 两个方面提供了更细粒度地控制模型的计算开销，以更好地探索效率与性能之间的权衡，下面的帕累托图显示我们的方法在 1.5x 的加速比下甚至相比原始模型性能有所提升，而在高加速比下的相比其他加速方法具有显著优势。来源：微信公众号【机器之心】

volley推出ai发球机器人，可利用ai收集数据模拟实时比赛情况

据 TechCrunch 报道，体育科技初创公司 Volley 旨在通过其支持人工智能的运动训练机彻底改变球拍运动员（平台网球、板网球和泡菜球）的训练方式。与简单地以不同速度和高度发射球的传统网球发球机不同，Volley 的训练机器人利用 AI 和视觉软件在您打球时收集数据、了解您的技能水平并模拟实时比赛 – 使您永远不需要一个完整的团队来打球一次像样的培训课程。“由于系统的人工智能和智能性，Volley 对于专业人士、初学者和任何人来说都是一款很棒的机器，它了解比赛，了解你在场上的位置，并像真正的对手一样做出反应。此外，Volley 设备内置了三个摄像头，用于不同目的，例如人和球跟踪以及视频录制。机器内部装有一个摄像头来帮助维护，让客户支持几乎可以找到问题并指导您解决问题。来源：凤凰新闻-站长之家

AI实时绘画系统StreamMultiDiffusion 支持局部涂抹+提示生成图片

近期，一篇名为”StreamMultiDiffusion“的论文提出了一种新颖的实时、交互式的文本到图像生成系统。这种系统能够根据用户提供的手绘区域和相应的语义文本提示来生成图像，为专业图像创作者提供了一个强大的工具，可以用于快速原型设计和创意探索。该框架引入了几种关键技术。首先是Latent Pre-Averaging，在推理的每个步骤中，先对中间潜在表示进行平均，以适应快速推理算法。其次是Mask-Centering Bootstrapping，在生成过程的前几步中，将每个遮罩的中心点对齐到图像中心，以确保对象不会被遮罩边缘切断。再次是Quantized Masks，通过量化遮罩来控制提示遮罩的紧密度，从而在不同噪声水平下平滑地融合生成区域。来源：凰新闻-站长之家