3月8日

Inflection-2.5发布：情商最高大模型、性能媲美GPT-4计算量仅为40%，App日活已破百万

本周四，美国 AI 创业公司 Inflection AI 正式发布新一代大语言模型 Inflection-2.5。仅用 40% 计算量，实现与 GPT-4 相媲美性能。值得一提的是，Inflection-2.5在实现接近GPT-4的性能的同时，训练所需的计算量竟然只有GPT-4的40%！从今天起，所有Pi的用户都可以通过pi.ai网站、iOS、Android或桌面应用程序体验到Inflection-2.5。此外，在这次升级中，Pi还加入了世界级的「实时网络搜索功能」，确保用户能够获取到高质量的最新新闻和信息。与此同时，与 ChatGPT 对打的「最具人性化」聊天工具 Pi，也得到了新升级模型的加持。随着Inflection-2.5强大能力的加持，用户与Pi的对话话题比以往更加广泛：他们不仅讨论最新的时事，还能获取本地餐厅的推荐、备考生物学考试、草拟商业计划、进行编程、准备重要的对话，甚至仅仅是分享和讨论自己的兴趣爱好。来源：微信公众号【新智元、Founder Park】

驱动产学研深度融合，「未来高新视频智能技术中心创新联合体 」在快手揭牌

音视频、人工智能技术是推动数字经济高质量发展的技术基石，产学研多领域不断提升创新能力，加快优化迭代视频智能技术，对推动全行业的数字化、视频化、智能化转型具有重大意义。3 月，未来高新视频智能技术创新中心成果汇报会暨创新联合体揭牌仪式在北京快手科技举办。来自北京市科委、中关村管委会、市经信局、海淀区政府的相关领导及高校和科研院所的专家学者与会，共同见证高新视频智能技术的最新成果，并就加强创新联合体机制建设、完善企业主导的产学研深度融合创新和未来行业发展趋势等展开深入研讨。编解码作为音视频领域最核心的技术，快手持续突破，自研 KVC 编解码标准，相比开源 X265 方案，在画质持平甚至更优的情况下，可以实现 50% 以上的码率下降，进而大幅节省了网络带宽资源。快手也自研了编解码芯片 SL200，是目前行业中压缩率最高的编解码芯片，相比行业最优竞品，该芯片在相同视频质量下码率降低接近 20%，在直播和短视频场景下带来成本和体验的双重收益。在网络传输领域，快手设计了一套全新的传输协议 CMTP，大幅降低用户播放卡顿，并且正在与中国通信标准化协会（CCSA）合作进行行业标准的制定和推广。来源：微信公众号【机器之心】

田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型

上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型，主打在移动设备上运行 LLM。3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。他们合作提出了 GaLore（Gradient Low-Rank Projection），这是一种允许全参数学习的训练策略，但比 LoRA 等常见的低秩自适应方法具有更高的内存效率。该研究首次证明了在具有 24GB 内存的消费级 GPU（例如 NVIDIA RTX 4090）上预训练 7B 模型的可行性，无需模型并行、检查点或卸载策略。该方法在 Optimizer States 下将内存使用量减少了 65.5%，同时还能保持在 LLaMA 1B 和 7B 架构上使用最多 19.7B token 的 C4 数据集进行预训练的效率和性能，以及在 GLUE 任务上微调 RoBERTa 的效率和性能。与 BF16 基准相比，8-bit GaLore 进一步减少了优化器内存达 82.5%，总训练内存减少了 63.3%。来源：微信公众号【机器之心】

南邮团队构建空天海一体化全光通信网络，开拓无线通信新领域

南京邮电大学王永进教授带领的团队与苏州亮芯单片光电科技有限公司合作，提出并构建了一种空天海一体化全光通信网络（All-Light Communication Network，ALCN）技术。为适应不同应用场景，该技术整合了四种特定波长的光通信技术建立其通信链路。考虑到纯净海水对蓝绿光的低吸收率使其能在水下实现远距离通信，课题组成员在水下采用了蓝光通信，用于控制无人水下航行器或在水下设备与浮标间建立通信。在中性密度因子为 256、浊度为 1.7 的游泳池中，BLC 链路的传输距离可达 12 米，并能在 20 度角度范围内建立通信连接。但浊度的增加和水流的加剧可能会导致接收信号减弱和光学自干扰，需通过调整光学和电学增益来解决这些问题。在海面之上的部分，研究人员首先使用的是无线白光通信），这一技术能在陆地上实现 150 米范围内的通信，适用于海面信标、浮标与船只之间，以准确报告海洋状况。其次，为了避免阳光的干扰，该课题组选择了日盲深紫外通信与无人机等机载设备建立连接。在强光环境下，DUVC 链路能在最大 7 米范围内实现日盲通信。需要注意的是，尽管这些基于 LED 的通信技术发散角更宽，但也存在接收光功率较低的缺陷。因此，针对在自由空间进行的点对点远距离通信，研究团队选择了高光功率定向光为基础的激光二极管通信。来源：微信公众号【DeepTech深科技】

将GPT-4安全性提升26%以上，北大团队提出AI对齐新范式，能充当大模型的“补丁”

杨耀东团队首次将 ResNet 中残差学习的理念用于大模型对齐，提出了对齐器——即一种通过学习未对齐和对齐答案间的残差，来显著优化对齐效果的高效范式。对齐器的工作原理在于：在前置模型外挂一个模型，然后让外挂模型直接学习“未对齐回答和对齐回答”之间的修正残差。实验中，课题组不断优化训练技巧、调整模型架构，在不同尺寸的数据集上训练了不同规模的对齐器。一款 7B 参数的对齐器，只需经历一次训练，就能同时将 11 种大模型的帮助性和安全性平均提高 21.9% 和 23.8%。这些模型涵盖了闭源模型、开源模型、安全性对齐模型、非安全性对齐模型。其中，这款对齐器能将 GPT-4 的帮助性提升 17.5%、无害性提升 26.9%。该团队还测试了对齐器用于价值对齐的可能性：团队使用 Empathetic Dialogue 数据集微调了 7B 和 13B 模型的对齐器，以提高它们的共情能力。经过微调之后，Aligner-7B 和 Aligner-13B 能将 GPT-4 输出的共情能力提升 50% 以上。来源：微信公众号【DeepTech深科技】