7月27日·牛津剑桥AI研究引发学术圈热议:合成数据与模型崩溃

AI资讯速递3个月前发布 大Joe
92 0

7月27日·周六 AI工具和资源推荐

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐,在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

牛津剑桥AI研究引发学术圈热议:合成数据与模型崩溃

牛津大学和剑桥大学联合发表在《Nature》封面的研究论文,探讨了人工智能(AI)训练中所谓的“近亲繁殖”问题,即模型仅使用AI生成内容可能导致崩溃。这项研究引发了学术界的广泛讨论,许多专家认为,合成数据的关键在于正确使用,而非其本身。论文指出,依赖纯合成数据训练AI模型,可能在短期内提升评估结果,但长期会导致模型性能下降。Scale AI的CEO Alexandr Wang强调,混合数据(Hybrid Data)是未来发展方向,建议结合真实世界数据、人类专家参与和形式逻辑引擎来生成数据。此外,Meta、纽约大学和北京大学的研究人员提出,通过强化学习(reinforcement learning)和人类或模型的反馈,可以恢复甚至超越模型原始性能。斯坦福大学博士生Rylan Schaeffer的研究也表明,将合成数据与真实数据结合积累,可以有效避免模型崩溃。来源:微信公众号【新智元】

7月27日·牛津剑桥AI研究引发学术圈热议:合成数据与模型崩溃

多层感知器(MLP)与KAN的较量,KAN只赢一局

新加坡国立大学的研究者对多层感知器(MLP)和Kolmogorov–Arnold Networks(KAN)进行了全面比较。MLP作为深度学习模型的基础组成部分,以其非线性逼近能力而广泛使用,但存在可解释性和扩展性方面的局限。KAN作为MLP的替代方案,以其参数效率和可解释性受到关注。研究者在控制参数或浮点运算(FLOP)相同的情况下,对两种网络在多个领域的任务进行了评估。结果表明,KAN仅在符号公式表示任务中表现优于MLP,而在机器学习、计算机视觉、自然语言处理和音频处理等其他任务中,MLP通常优于KAN。此外,当MLP采用与KAN相同的B样条激活函数时,其性能可达到甚至超越KAN。研究还发现,KAN在连续学习任务中的遗忘问题比MLP更严重。这项研究为理解两种网络的适用性和性能差异提供了新的视角。来源:微信公众号【机器之心】

7月27日·牛津剑桥AI研究引发学术圈热议:合成数据与模型崩溃

SGLang Runtime v0.2:加速Llama 405B模型推理的新引擎

LMSYS Org团队推出SGLang Runtime v0.2,这是一个为大型语言模型(LLM)和超大型模型(VLM)设计的通用服务引擎,显著提升了Llama 3.1 405B模型的推理速度。SGLang在GitHub上已获得超过3K的star量,得到了AI研究者贾扬清的高度评价。在与vLLM和TensorRT-LLM的比较中,SGLang展现出卓越的吞吐量和延迟性能,特别是在运行Llama系列模型时,吞吐量可达TensorRT-LLM的2.1倍,vLLM的3.8倍。SGLang完全开源,使用纯Python编写,核心调度器仅用不到4K行代码实现,已被多个机构用于支持模型服务,实现了更快的迭代。此外,SGLang的高效批处理调度器在性能上可与C++构建的闭源实现相媲美,甚至更优。LMSYS Org团队由加州大学伯克利分校、圣地亚哥分校和卡内基梅隆大学的学生与教职工组成,旨在通过SGLang为AI产品和服务提供高效的底层支持。来源:微信公众号【机器之心】

7月27日·牛津剑桥AI研究引发学术圈热议:合成数据与模型崩溃

巴黎奥运会拥抱AI技术,开启智能体育赛事新篇章

2024年巴黎奥运会盛大开幕,成为历史上首届将人工智能(AI)纳入官方议程的奥运会。这场盛事不仅在塞纳河上举行开幕式,更通过AI技术的应用,展现了科技与体育的完美结合。从实时监控能源消耗到利用数字孪生技术优化赛事规划,巴黎奥运会在多个层面上运用了AI技术。英特尔、阿里巴巴、Atos等全球技术大厂参与其中,提供了包括AI驱动的多摄像机回放系统、云直播信号远程分发、智能计时和数据分析等服务。此外,OBS LiveCloud和阿里云合作,通过云计算支持奥运直播信号的全球传输。AI技术还被用于提高广播效率、增强观众体验,并在赛事期间生成精彩集锦。这场奥运会不仅是体育竞技的盛会,更是AI技术在体育领域应用的展示窗口。来源:微信公众号【AI前线】

英特尔突破性OCI技术:用光互联提升AI算力

英特尔公司推出了业界首款全集成光学计算互连(OCI)芯片,利用光技术解决了AI大模型时代的算力难题。随着AI模型规模的不断扩大,对计算、存储和I/O通信的要求也越来越高。传统的电气I/O因传输距离短、功耗高而受限。英特尔的OCI技术使用光学I/O取代电气I/O,实现了数据传输距离的大幅延长,最远可达100米,同时数据传输量大且功耗低,非常适合AI大模型的需求。这项技术采用了硅光子技术,集成了硅光子集成电路(PIC)、光放大器和电子集成电路,已经与CPU封装在一起,并可与下一代CPU、GPU、IPU等系统级芯片集成。英特尔的这项创新不仅提高了数据传输效率,还为未来数据中心的高密度I/O提供了新的可能性。来源:微信公众号【量子位】

7月27日·牛津剑桥AI研究引发学术圈热议:合成数据与模型崩溃

【今日案例】

2024年下半年宏观经济展望

https://metaso.cn/s/1MKzHP3

© 版权声明

相关文章

暂无评论

暂无评论...