4月7日

超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k

近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运行，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。来源：微信公众号【机器之心】

谷歌DeepMind发布Gecko：专攻检索，与大7倍模型相抗衡

来自谷歌 DeepMind 的研究者提出了 Gecko，这是一种从 LLM 中蒸馏出来的多功能文本嵌入模型，其在 LLM 生成的合成数据集 FRet 上进行训练，并由 LLM 提供支持。通过将 LLM 的知识进行提炼，然后融入到检索器中，Gecko 实现了强大的检索性能。在大规模文本嵌入基准（MTEB，Massive Text Embedding Benchmark）上，具有 256 个嵌入维度的 Gecko 优于具有 768 个嵌入尺寸的现有模型。具有 768 个嵌入维度的 Gecko 的平均得分为 66.31，在与 7 倍大的模型和 5 倍高维嵌入进行比较时，取得了相竞争的结果。Gecko 是一个基于 1.2B 参数预训练的 Transformer 语言模型，该模型经历了两个额外的训练阶段：预微调和微调。来源：微信公众号【机器之心】

揭秘AI幻觉：GPT-4V存在视觉编码漏洞，清华联合NUS提出LLaVA-UHD

清华大学、新加坡国立大学和中国科学院大学的一篇题为《LLaVA-UHD: an LMM Perceiving Any Aspect Ratio and High-Resolution Images》的论文中分析 GPT-4V 很可能存在：视觉编码漏洞。该工作对当前最强的商业大模型 GPT-4V 和最受欢迎的开源模型 LLaVA-1.5 进行了实验，揭示了目前多模态大模型中的视觉编码漏洞。LLaVA-UHD 将图像分辨率限制在最大 672×1008。但是在未来，考虑到其具有潜力的效率和可扩展性，将探索更高分辨率的图像以及更具挑战性的任务，如小目标检测和分割。此外，目前图像片段是独立编码的，只在 LLMs 中进行交互。计划通过改进的视觉编码策略，在图像片段之间建立高效的连接，实现细粒度全局信息交互。来源：微信公众号【机器之心】

斯坦福团队新作：喊话就能指导机器人，任务成功率暴增

斯坦福的ALOHA家务机器人团队，发布了最新研究成果——项目名为Yell At Your Robot（简称YAY），有了它，机器人的“翻车”动作，只要喊句话就能纠正了！而且机器人可以随着人类的喊话动态提升动作水平、即时调整策略，并根据反馈持续自我改进。比如在这个场景中，机器人没能完成系统设定的“把海绵放入袋子”的任务。架构上，整个YAY系统主要由高级策略和低级策略这两个部分组成。其中高级策略负责生成指导低级策略的语言指令，低级策略则用于执行具体动作。具体来说，高级策略将摄像头捕捉到的视觉信息编码，与相关知识结合，然后由Transformer生成包含当前动作描述、未来动作预测等内容的指令。而低级策略接收到语言指令后，会解析这些指令中的关键词，并映射到机器人关节的目标位置或运动轨迹。来源：微信公众号【量子位】

Dr. John Spencer：重新思考人工智能时代的信息素养

本文选译自Dr. John Spencer最新博客“Rethinking Information Literacy in an Age of AI”，部分呢内容有所调整。“改变游戏规则”和“颠覆性”等词汇在技术领域中已不再新鲜。教育工作者们已经目睹了1：1设备、无纸化教室、交互式白板等教育新潮流的兴起。然而，人工智能的崛起为我们带来了截然不同的感受。我们所处的时代，尤其是生成式人工智能和更广泛的机器学习领域，似乎正在迅速重塑我们的世界。尽管对于教育工作者而言，这带来了许多积极的趋势，但我们也不得不警惕人工智能如何改变信息格局，特别是在深度伪造领域。来源：微信公众号【胖胖老师】