4月9日

Andrej Karpathy：纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了

今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需要单个文件中的大约 1000 行干净代码（clean code），可以立即编译运行，并且完全可以媲美 PyTorch 参考实现。Karpathy 表示，选择从 GPT-2 开始，是因为它是 LLM 的鼻祖，是大语言模型体系首次以现代形式组合在一起，并且有可用的模型权重。项目在开始时一次性分配所有所需的内存，这些内存是一大块 1D 内存。然后在训练过程中，不会创建或销毁任何内存，因此内存占用量保持不变，并且只是动态的，将数据批次流过。这里的关键在于手动实现所有单个层的前向和后向传递，然后将它们串联在一起。来源：微信公众号【机器之心】

杨笛一新作：社恐有救了，AI大模型一对一陪聊，帮i人变成e人

近日，在由斯坦福助理教授杨笛一为共同一作的论文《Social Skill Training with Large Language Models》中，研究者认为，借助大语言模型可以使得社交技能训练变得更容易、更安全、更有吸引力，并在现实、虚拟练习空间中提供量身定制的反馈。具体来讲，研究者提出了以下两种社交技能训练框架。第一个训练框架是 AI Partner，它可以通过模拟练习为体验式训练提供可扩展的解决方案。此前已经有研究表明，人类角色扮演可以有效地教授沟通、合作和领导技能。与 on-the-job 训练相比，模拟可以让学习者承担更少的风险和机会成本。而通过模拟，AI Partner 将减少进入专业领域的社会经济障碍。第二个补充训练框架是 AI Mentor， 它将根据领域专业知识和事实知识提供个性化反馈。这两个训练框架（合称为 APAM）都可以将体验式学习与现实练习、定制反馈相结合。研究者呼吁通过跨学科创新来解决 APAM 的广泛影响。来源：微信公众号【机器之心】

北大开源最强aiXcoder-7B代码大模型！聚焦真实开发场景，专为企业私有部署设计

全新开源的代码大模型——aiXcoder-7B Base版，一个专门适合在企业软件开发场景中部署的代码大模型。在HumanEval、MBPP和MultiPL-E三大主流评测集上的表现，它平均得分居然超过340亿参数的Codellama。这个模型不仅打败了一众开源大模型、成为百亿级代码大模型中最强，还有特别的优势：一改传统的“刷题式”代码生成，它专门针对企业级软件项目，在真实开发场景下效果最好——代码生成补全能力、和跨文件能力经过测试，都是“杠杠滴”（No.1）。言外之意，aiXcoder-7B不玩“虚”的，可以hold得住企业真实业务场景。例如在贴近真实开发场景的评测集CrossCodeEval上，aiXcoder-7B一举拿下了同级别模型的最好效果。来源：微信公众号【量子位】

香港大模型公司Weitu AI首秀，打造多模态Native的技术和产品

Weitu AI，一家全力打造多模态Native产品的公司，其创始人王历伟博士在介绍时，特别强调了“多模态Native”这个关键词 。就在前不久，Weitu AI推出了自家的150亿参数多模态大模型WeituAI 1.0，在诸多国际权威评测榜单如MMMU，MMBench，CMMMU，SEED-Bench[4]和MM-Vet等上一路高歌猛进。虽然参数规模不算大，但不仅力压200亿参数量以下的同量级模型，甚至在一些榜单直接超车LLaVA-NeXT-34B、MM1-30B-Chat等更大模型。在由香港科技大学、中科院自动化所和北京大学等机构组织的中文学科多模态数据集CMMMU上，WeituAI 1.0在200亿参数量以下模型中排名第一。来源：微信公众号【量子位】

陶哲轩转发、菲尔兹奖得主领衔：AI正在颠覆数学家的工作方式

AI的数学能力不完全反映人类的认知过程，依赖于训练数据中的模式，而不是真正理解问题的本质。合成数学如合成拓扑学和合成微分几何学，提供了一种全新的数学实践方式，允许数学家专注于更深层次的概念和问题。交互式证明系统与软件工程中的“规范驱动开发”，可以降低数学家的认知负荷、促进数学家之间的合作。形式化证明技术可能改变数学证明的本质、颠覆数学家的工作方式。数学届不应被科技公司主导的议程所绑架。纯粹的数学家习惯于享有很大程度的研究自主和智力自由，这是一种脆弱而宝贵的遗产，可能会因机器的盲目使用而被扫除。另一方面，对同一技术进行深思熟虑和深思熟虑的方法可能会极大地丰富我们的学科。学科应该如何发展是由我们自己决定的，因此我们邀请数学界认真思考和讨论专刊中提出的问题，并聆听其他领域同行对这些问题进行了深入思考。来源：微信公众号【量子位】