3月12日

OpenAI开源了：Transformer自动debug工具上线GitHub

今天一早，OpenAI 机器学习研究员 Jan Leike 宣布，OpenAI 开放了自己内部一直用于分析 Transformer 内部结构的工具。Transformer Debugger (TDB) 是 OpenAI 对齐团队（Superalignment）开发的一种工具，旨在支持对小体量语言模型的特定行为进行检查。据介绍，该工具把自动可解释性技术与稀疏自动编码器进行了结合。具体来说，TDB 能够在需要编写代码之前进行快速探索，并能够干预前向传递，帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如「为什么模型在此提示（prompt）中输出 token A 而不是 token B？」之类的问题或「为什么注意力头 H 会在这个提示下关注 token T？」它通过识别对行为有贡献的特定组件（神经元、注意力头、自动编码器 latents），显示自动生成的解释来分析导致这些组件最强烈激活的原因，并跟踪组件之间的连接以帮助人们发现联系，以此来帮助人们进行 Transformer 的 debug 工作。来源： 微信公众号【机器之心】

350亿参数、开放权重，Transformer作者创业后推出新大模型

今天，由 Transformer 作者之一 Aidan Gomez 参与创立的人工智能初创公司 Cohere 迎来了自家大模型的发布。Cohere 推出的模型名为「Command-R」，参数量为 35B，它是一个针对大规模生产工作负载的全新大语言模型研究版本。该模型属于「可扩展」模型类别，能够平衡高效率和高精度， 使企业用户超越概念验证，进入生产阶段。作为一种生成模型，Command-R 针对检索增强生成（RAG）等长上下文任务以及使用外部 API 和工具进行了优化。该模型旨在与自家行业领先的嵌入（Embed）和重新排序（Rerank）模型配合使用，为 RAG 应用程序提供一流的集成，并在企业用例中具有出色表现。就其架构而言，Command-R 是一种使用优化后 transformer 架构的自回归语言模型。在预训练后，模型使用监督微调（SFT）和偏好训练使自身与人类偏好保持一致，并实现有用性和安全性。具体而言，Command-R 具有以下功能特征：RAG 和工具使用方面的高度准确性、低延迟、高吞吐量、更长的 128k 上下文和更低的价格跨 10 种主要语言的强大功能、HuggingFace 上提供模型权重以供研究和评估。来源：微信公众号【机器之心】

OpenAI前员工建立AI大模型，帮助机器人像人类一样学习新技能

OpenAI 的三位早期研究科学家表示，他们在 2017 年成立的名为 Covariant 的初创公司已经解决了这个问题，并推出了一个新系统，可以将大型语言模型的推理技能与先进机器人的身体灵活性结合起来。这个新模型 RFM-1 使用的数据来自于互联网上的文字和视频，以及 Covariant 自己的小型分拣机器人。Crate & Barrel 和 Bonprix 等客户在世界各地的仓库中使用了这些分拣机器人。在接下来的几个月里，Covariant 将向客户推出该模型。该公司希望，将该系统部署在现实世界中，可以让它变得更加强大和高效。Covariant 的联合创始人皮特·陈（Peter Chen）和彼得·阿布贝尔（Pieter Abbeel）向我展示了用户如何使用五种不同类型的输入来提示模型：文本、图像、视频、机器人指令和测量。例如，给它看一张装满运动器材的箱子的图片，并告诉它拿起一包网球，机器人就可以抓起网球，生成一张图片展示网球被拿走后箱子的样子，或者创建一个视频，以俯视视角展示机器人执行任务的样子。来源：微信公众号【 DeepTech深科技】

宁德核电推出全球参数量最大的核工业大模型

中国广核集团福建宁德核电有限公司（以下简称“宁德核电”）日前发布了自主训练的大模型「锦书」，这是专为核工业领域打造的大语言模型，其参数规模达到 720 亿。据了解，「锦书」在内部被称为“全民 GPT”项目，自 2023 年 5 月发起，旨在探索利用 AI 大模型解决核电行业面临的各种挑战，如知识管理不足、低脑力劳动过多、安全分析能力有待增强等。「锦书」主要训练两种参数规格的模型，分别是锦书 -34B-Chat 和锦书 -72b-Chat。这也是目前在全球范围内参数量最大的核工业预训练大语言模型。此外，「锦书」拥有中国最大的核工业大模型语料库，训练语料超过 20 亿 token，涵盖了核运行、核物理、核燃料、水化学十余类通用核工业语料以及规程、系统设计书、经验反馈单等十余种工作文件语料。此外，宁德核电团队首次开发适用于核工业的专属 Nuclear-embedding-v1-base-cn 词向量模型和 Nuclear-reranker-v1-base-cn 模型，在由 50 万条向量数据构建的 nuclear benchmark 数据集上展示了卓越的性能，top1 召回率超过 88%，top2 召回率超 91%，top5 召回率超过 95%。基于「锦书」核工业大语言模型，宁德核电开发出国内首个核工业大语言模型应用平台「云中锦书」，该平台部署了基于系统化培训理念的智能培训系统、个人岗位晋升系统、PPT 生成等多个应用，实现企业降本提质增效的目的。来源：微信公众号【AI前线】

Apollo开源轻量级多语言医疗 LLM：助力将医疗 AI 民主化推广至60亿人口

深圳大数据研究院和香港中文大学深圳研究所的研究人员推出了 Apollo，一套突破性的多语言医疗 LLMs 套件，标志着医疗 AI 的包容性大幅前进。Apollo 模型经过精心训练，使用 ApolloCorpora，一个庞大的多语言数据集，并针对 XMedBench 基准进行了严格评估。这种战略方法使 Apollo 能够匹配或超越同等大小的现有模型在一系列语言中的性能，包括英语、中文、法语、西班牙语、阿拉伯语和印地语，展示了其无与伦比的多样性。Apollo 开发背后的方法论侧重于将预训练语料库改写成问答格式，并采用自适应采样训练数据。这种方法使学习过渡变得无缝，从而训练出更小但高效的模型。这些模型不仅擅长理解和生成多语言医学信息，还通过一种新颖的代理调优技术增强了较大模型的能力，无需直接微调。Apollo 的模型，特别是 Apollo-7B，表现出色，建立了多语言医学 LLMs 的新标准。这一成就证明了 Apollo 将医疗 AI 民主化的潜力，使尖端医学知识跨越语言障碍普遍可获得。此外，Apollo 显著增强了较大通用 LLMs 的多语言医学能力，说明了其在全球范围内推广医疗 AI 技术中的关键作用。来源：凤凰新闻-站长之家