12月16日·AI预训练未来趋势：小模型时代的来临

12月16日·周一  AI工具和资源推荐

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在[图片]这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的o g zAI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

AI预训练未来趋势：小模型时代的来临

近期，AI领域关于预训练的讨论愈演愈烈。Ilya在NeurIPS 2024上提出“预训练结束了”的观点，引发业界广泛讨论。谷歌的Logan Kilpatrick和前Meta的Dhruv Batra等业界大佬纷纷反驳，认为预训练远未结束，数据资源依然丰富。Epoch AI的报告指出，尽管当前SOTA模型参数量有所减少，但下一代模型规模可能再次增长。这一现象背后的原因包括AI需求的爆发、模型蒸馏技术的发展、Scaling Law的转变以及推理效率的提升。奥特曼预言，模型参数竞赛可能即将结束，未来模型发展将更注重效率和实用性。来源：微信公众号【新智元】

DeepMind联合马里兰大学帕克分校和魏茨曼科学研究所的研究人员开发了一种创新的视频分层分解框架，该框架无需静态背景假设或相机姿态、深度信息，即可自动分离视频前景对象和背景，并补全被遮挡区域。这一技术的核心是训练一个视频扩散模型，利用其生成式先验知识来克服以往方法的限制。实验表明，该模型能够处理包含软阴影、光泽反射等多种元素的日常视频，并输出高质量的分解和编辑结果。这项技术有望极大提升视频编辑的效率和直观性。来源：微信公众号【新智元】

西湖大学MAPLE实验室提出了一种创新的图像生成模型优化方法，通过强化学习微调技术，优化了图像生成模型的去噪过程。这项技术类似于OpenAI在大语言模型LLM上的强化微调，能够让模型在多步推理后输出更符合人类偏好的结果。实验室发现，图像生成领域的扩散模型和流模型中的多步去噪过程，类似于思维链，可以逐步生成高质量图像。通过与人类奖励对齐的强化学习监督训练，模型能够自适应地调整推理过程中的噪声强度，用更少的步数生成高质量图像内容。这一发现不仅减少了推理步骤，还提高了图像质量，为图像生成领域带来了新的可能性。来源：微信公众号【新智元】

月之暗面科技近日发布了其最新的视觉思考模型k1，标志着公司在推理模型领域的又一重大进展。k1模型基于强化学习技术，支持端到端图像理解和思维链技术，将能力扩展至数学之外的更多基础科学领域。在多个基础科学学科的基准能力测试中，k1的表现超越了全球标杆模型，如OpenAI的o1和GPT-4o。k1的图像理解能力解决了以往模型无法处理的几何图形问题，并在基础教育的几何图形题测试中成绩优异。此外，k1还能识别真实拍题场景，处理复杂状况，如图像不清晰、多题同拍、手写字迹干扰等。k1的端到端能力组合显著提升了在真实应用场景中的性能，展现了古代文献分析、梗图理解等涌现能力，大大增强了其在日常生活中的实用性。来源：微信公众号【机器之心】

在NeurIPS 2024会议上，阿里妈妈主办了一场特别的Workshop——“大规模拍卖中的自动出价”，围绕其提出的AIGB（AI-Generated Bidding）模型训练新范式展开。AIGB模型利用生成式模型解决自动出价问题，已在阿里妈妈的广告业务中取得显著成效。此外，阿里妈妈还开源了AuctionNet，这是世界上首个包含大规模模拟竞价系统和博弈数据集的Benchmark，适用于自动出价决策算法研究及广泛的决策智能领域。此次Workshop不仅促进了学术交流，还通过开源合作推动了自动出价技术的发展。来源：微信公众号【量子位】

【今日案例】