10月31日

AI资讯速递1年前 (2023)发布 FuturX-Editor

365 0 0

10月31日·周二

斯坦福大学和纽约州立大学布法罗分校研究团队提出新技术Monarch Mixer：比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了

斯坦福大学和纽约州立大学布法罗分校的一个研究团队提出了一种Transformer 新的替代技术：Monarch Mixer。近日，该团队在 arXiv 公布了相关论文和一些检查点模型及训练代码。顺带一提，该论文已入选 NeurIPS 2023 并获得 Oral Presentation 资格。该方法去掉了 Transformer 中高成本的注意力和 MLP，代之以富有表现力的 Monarch 矩阵，使之在语言和图像实验中以更低的成本取得了更优的表现。来源：微信公众号【机器之心】

UCloud优刻得与中贝通信达成战略合作，联合推进智算中心建设

近日，UCloud 优刻得与中贝通信集团股份有限公司签署战略合作协议。双方将以云计算、大数据、AI等技术为核心数智化能力，共同推进智算中心及算力集群运维平台建设，技术研究应用、企业投融资等项目落地，构建技术先进、服务优秀、可持续发展的业务模式。根据战略协议，双方将充分利用各自的品牌、资源和技术服务优势，进行算力业务的合作推广。以UCloud在算力集群运维和调度技术为核心能力，更好地协助中贝通信提升对智算算力客户的使用体验。同时，基于UCloud全球数据中心，助力中贝通信以高可用、安全稳定、绿色低碳的智算基础设施服务更多出海客户。来源：微信公众号【UCloud云计算】

昆仑万维开源「天工」Skywork-13B系列大模型，0门槛商用

10月30日，昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列，并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型：Skywork-13B-Base模型、Skywork-13B-Math模型，它们在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果，其中文能力尤为出色，在中文科技、金融、政务等领域表现均高于其他开源模型。除模型开源外，Skywork-13B系列大模型还将开源600GB、150B Tokens的高质量中文语料数据集Skypile/Chinese-Web-Text-150B，这是目前最大的开源中文数据集之一。同时，昆仑万维「天工」Skywork-13B系列大模型即将全面开放商用——开发者无需申请，即可商用。来源：微信公众号【昆仑万维集团】