10月31日

AI资讯速递9个月前发布 大Joe
262 0

10月31日·周二

斯坦福大学和纽约州立大学布法罗分校研究团队提出新技术Monarch Mixer:比Transformer更好,无Attention、MLPs的BERT、GPT反而更强了

斯坦福大学和纽约州立大学布法罗分校的一个研究团队提出了一种Transformer 新的替代技术:Monarch Mixer。近日,该团队在 arXiv 公布了相关论文和一些检查点模型及训练代码。顺带一提,该论文已入选 NeurIPS 2023 并获得 Oral Presentation 资格。该方法去掉了 Transformer 中高成本的注意力和 MLP,代之以富有表现力的 Monarch 矩阵,使之在语言和图像实验中以更低的成本取得了更优的表现。来源:微信公众号【机器之心】

UCloud优刻得与中贝通信达成战略合作,联合推进智算中心建设

近日,UCloud优刻得与中贝通信集团股份有限公司签署战略合作协议。双方将以云计算、大数据、AI等技术为核心数智化能力,共同推进智算中心及算力集群运维平台建设,技术研究应用、企业投融资等项目落地,构建技术先进、服务优秀、可持续发展的业务模式。根据战略协议,双方将充分利用各自的品牌、资源和技术服务优势,进行算力业务的合作推广。以UCloud在算力集群运维和调度技术为核心能力,更好地协助中贝通信提升对智算算力客户的使用体验。同时,基于UCloud全球数据中心,助力中贝通信以高可用、安全稳定、绿色低碳的智算基础设施服务更多出海客户。来源:微信公众号【UCloud云计算】

昆仑万维开源「天工」Skywork-13B系列大模型,0门槛商用

10月30日,昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列,并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型:Skywork-13B-Base模型Skywork-13B-Math模型,它们在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果,其中文能力尤为出色,在中文科技、金融、政务等领域表现均高于其他开源模型。除模型开源外,Skywork-13B系列大模型还将开源600GB、150B Tokens的高质量中文语料数据集Skypile/Chinese-Web-Text-150B,这是目前最大的开源中文数据集之一。同时,昆仑万维「天工」Skywork-13B系列大模型即将全面开放商用——开发者无需申请,即可商用。来源:微信公众号【昆仑万维集团】

© 版权声明

相关文章

暂无评论

暂无评论...