3月11日

零一万物自研全导航图向量数据库，横扫权威榜单6项第一

3 月 11 日，零一万物宣布推出基于全导航图的新型向量数据库 「笛卡尔（Descartes）」，已包揽权威榜单 ANN-Benchmarks 6 项数据集评测第一名。向量数据库，又被称为 AI 时代的信息检索技术，是检索增强生成（Retrieval-Augmented Generation, RAG）内核技术之一。对大模型应用开发者来说，向量数据库是非常重要的基础设施，在一定程度上影响着大模型的性能表现。在国际权威评测平台 ANN-Benchmarks 离线测试中，零一万物笛卡尔（Descartes）向量数据库登顶 6 份数据集评测第一名，比之前榜单上同业第一名有显著性能提升，部分数据集上的性能提升甚至超过 2 倍以上。在以下 6 份评测数据集涵盖 glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist-784-euclidean、gist-960-euclidean 六大数据集，横坐标代表召回、纵坐标代表 QPS (每秒内处理的请求数)，曲线位置越偏右上角意味着算法性能越好，零一万物笛卡尔向量数据库在 6 项数据集评测中都处于最高位。来源： 微信公众号【机器之心】

前端不存在了？盲测64%的人更喜欢GPT-4V的设计，杨笛一等团队新作

3 月 9 日央视的一档节目上，百度创始人、董事长兼 CEO 李彦宏指出，以后不会存在「程序员」这种职业了，因为只要会说话，人人都会具备程序员的能力。「未来的编程语言只会剩下两种，一种叫做英文，一种叫做中文。」近日，斯坦福大学、佐治亚理工学院等机构的一个联合团队评估了当前的多模态模型在这一任务上的表现。他们将这个任务称为 Design2Code。通过一系列的基准评测，我们可以从这些结果中了解自动化前端工程已经发展到哪一步了。为了实现系统化和严格的基准评测，该团队为 Design2Code 任务构建了首个真实世界基准。表 1 给出了一些示例。为了最好地反映真实用例，他们使用了真实世界的网页，而非用生成方法得到合成网页。他们收集了 C4 验证集中的网页，并对所有样本进行了仔细的人工调整，最终得到了 484 个高质量、高难度和多样化的网页。它们可代表不同复杂度的多种真实世界用例。他们执行了定性和定量分析，证明这个基准数据集覆盖了广泛的 HTML 标签用法、领域和复杂度。此外，为了促进高效的评估和模型开发，该团队还为这个任务开发了一些评估指标 —— 可自动比较生成网页的截图与给定的截图输入。这些新指标考虑的维度很全面，包括边界框匹配、文本内容、位置和所有已匹配视觉元素的颜色。来源：微信公众号【机器之心】

DenseMamba：大模型的DenseNet时刻，Mamba和RetNet精度显著提升

华为诺亚方舟实验室的科研团队发表了新工作《DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models》, 提出一个适用于各类 SSM 模型例如 Mamba 和 RetNet 的 DenseSSM 方法，该方法有选择地将浅层隐藏状态整合到深层，保留了对最终输出至关重要的浅层细粒度信息，以增强深层感知原始文本信息的能力。文章提出了一个新的框架 ——DenseSSM（密集状态空间模型），旨在通过增强隐藏信息在不同层之间的流动来提升状态空间模型（SSM）的性能。在 SSM 中，隐藏状态是存储关键信息的核心单元，更有效地利用这些状态对于模型的基本功能至关重要。为了实现这一目标，作者提出了一种方法，即从浅层收集隐藏状态，并将它们有选择性地融合到深层的隐藏状态中，这样可以增强 SSM 对文本低层信息的感知能力。DenseSSM 方法的设计考虑到了保持 SSM 原有的优点，如高效的自回归推理能力和高效的并行训练特性。通过将 DenseSSM 方法应用于流行的架构，例如 RetNet 和 Mamba，作者成功地创造了具有更强大的基础语言处理能力的新架构。这些新架构在公共基准测试中表现出了更高的准确性，证明了 DenseSSM 方法的有效性。来源：微信公众号【机器之心】

ChatGPT每年电费2亿？！日耗电量≈1.7万个家庭

数据来自一篇论文《The growing energy footprint of artificial intelligence》。作者是荷兰数字经济学家Alex de Vries，他通过英伟达、OpenAI、谷歌等公开数据进行估算。结果就得出了很多意想不到的结论。首先，现在大模型训练时期的耗电量和推理阶段相比，已经不值一提了。SemiAnalysis数据显示，OpenAI需要3617台英伟达HGX A100、共28936个GPU来支持ChatGPT推理。ChatGPT每天需要响应1.95亿次请求，预计每天需要消耗564兆瓦时电力，每个请求大约2.9瓦时。而GPT-3整个训练阶段的耗电量预估为1287兆瓦时，是ChatGPT大约4天的消耗量。谷歌报告也表示，2019-2021年，与人工智能相关的能源消耗中有60%来自推理部分。因此论文提出未来研究AI用电量时，更应该从全周期角度考量。但这也与模型再训练频率、模型性能与功耗之间的平衡有关系。比如BLOOM在推理阶段的耗电量就显著降低。其次，搜索引擎如果用上AI，耗电量还会更高。谷歌方面曾在去年2月表示，AI响应请求的成本可能是普通搜索的10倍。数据显示，使用一次谷歌搜索消耗的电量是0.3瓦时。这和上面分析给出的数据相呼应。如果要将大模型能力植入到谷歌搜索中，预计需要512821个HGX A100，按照每台设备功耗为6.5千瓦来计算，每天将需要80吉瓦时的电力消耗，一年需要29.2太瓦时。目前谷歌每天需要处理高达90亿次搜索，换算一下，平均每个请求要消耗6.9-8.9瓦时，已经是普通搜索的20倍+。来源：微信公众号【量子位】