11月30日

AI资讯速递10个月前发布 大Joe
235 0

11月30日·周四

国内首个!华南理工大学落地存算一栈式数据中心

“数字中国万里行”探访业内首个成功部署的存算一栈式液冷数据中心——华南理工大学液冷数据中心。这是“万里行”活动继重庆、青岛之后的第三站,由华南理工大学副首席信息官兼网信办主任陆以勤,信息网络工程研究中心(信息化办公室)数据与计算中心主任黄建波,及曙光存储产品事业部总监石静带领多家媒体共同探访。华南理工大学建有29个国家级科研平台、231个部省级科研平台,数量位居广东高校首位。该校数据中心广泛承载着科研平台和智慧校园等业务,为国家科研项目和在校超10万名师生提供密集的数据计算资源。来源:中文网

「GPT-4只是在压缩数据」,马毅团队造出白盒Transformer,可解释的大模型要来了吗?

近日,伯克利和香港大学的马毅教授领导的一个研究团队给出了自己的最新研究结果:包括 GPT-4 在内的当前 AI 系统所做的正是压缩。通过新提出的深度网络架构 CRATE,他们通过数学方式验证了这一点。而更值得注意的是,CRATE 是一种白盒 Transformer,其不仅能在几乎所有任务上与黑盒 Transformer 相媲美,而且还具备非常出色的可解释性。基于此,马毅教授还在 Twitter 上分享了一个有趣的见解:既然当前的 AI 只是在压缩数据,那么就只能学习到数据中的相关性 / 分布,所以就并不真正具备因果或逻辑推理或抽象思考能力。因此,当今的 AI 还算不是 AGI,即便近年来在处理和建模大量高维和多模态数据方面,深度学习在实验中取得了巨大的成功。来源:微信公众号【机器之星】

浪潮信息发布源2.0基础大模型,千亿参数全面开源

浪潮信息发布“源2.0”基础大模型,并宣布全面开源。源2.0基础大模型包括1026亿、518亿、21亿等三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。在算法方面,源2.0提出并采用了一种新型的注意力算法结构:局部注意力过滤增强机制(LFA:Localized Filtering-based Attention)。LFA通过先学习相邻词之间的关联性,然后再计算全局关联性的方法,能够更好地学习到自然语言的局部和全局的语言特征,对于自然语言的关联语义理解更准确、更人性,提升了模型的自然语言表达能力,进而提升了模型精度。来源:大众日报

© 版权声明

相关文章

暂无评论

暂无评论...