1月10日

金山云发布MaaS互信推理专区方案2.0 默认对接多个大模型

近日，金山云发布MaaS互信推理专区方案2.0（以下简称“MaaS 2.0”），该方案以金山云IaaS和PaaS为底座，可实现云上LangChain的一键部署，默认对接多个生态合作商业大模型和开源大模型。此外，MaaS互信推理专区方案2.0同时支持包括BGE、Bert等在内的Embedding模型，能无缝对接金山云全托管向量数据库Milvus，提供面向企业开发者的简单易用、安全可信的一站式推理应用部署平台。在计算方面，金山云第七代云服务器X7搭载第四代英特尔® 至强® 可扩展处理器、支持英特尔® AMX原生加速能力，CPU性能较上代最高提升60%，内存升级至DDR5，频率较上一代性能提升50%。面向大模型应用场景，金山云推出互信虚拟私有网络（简称“互信VPC”）。相对于标准VPC，互信VPC对进出VPC的通信行为有着更为严格的控制，帮助客户解决合规和互信问题。针对HTTP、HTTPS等应用层负载场景，公司推出应用型负载均衡ALB(Application Load Balancer)，单实例最大支持100万QPS。来源：凤凰新闻-凤凰网科技

轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了

来自新加坡科技设计大学（SUTD）的研究者近日推出了 TinyLlama，该语言模型的参数量为 11 亿，在大约 3 万亿个 token 上预训练而成。TinyLlama 以 Llama 2 架构和分词器（tokenizer）为基础，这意味着 TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外，TinyLlama 只有 11 亿的参数，体积小巧，适用于需要限制计算和内存占用的多种应用。该研究表示仅需 16 块 A100-40G 的 GPU，便可在 90 天内完成 TinyLlama 的训练。该项目从上线开始，持续受到关注，目前星标量达到 4.7K。该研究使用大约 3 万亿个 token 训练具有 1.1B 个参数的 Transformer （仅解码器）模型。TinyLlama 还用到了各种优化方法，如 flash attention 2、FSDP（ Fully Sharded Data Parallel ）、 xFormers 等。来源：微信公众号【 FightingCV】

有实力！德勤向7.5万名员工推出自主开发的AI“利器”！

据德勤英国官网消息，德勤正在向欧洲和中东地区的7.5万名员工推出一个生成式人工智能平台“PairD”，用于创建PowerPoint演示文稿、编写电子邮件和代码，以提高工作效率。据Financial Times报道，去年10月，德勤在英国首次推出了名为“PairD”的内部工具。然而，工作人员被告诫，新工具可能会产生不准确的人物、地点和事实信息，这表明这项新生技术仍在不断完善之中。一位知情人士透露，使用这项工具的员工已被告知，在使用聊天机器人开展工作之前，应自行开展尽职调查和质量保证，以验证其输出结果的 “准确性和完整性”。与竞争对手与ChatGPT制造商OpenAI和Harvey等主要市场参与者合作不同，德勤的人工智能聊天机器人是由公司的人工智能研究所内部开发的。此次大范围推广凸显了专业服务行业如何越来越多地采用生成式人工智能来实现任务自动化。普华永道(PwC)将人工智能聊天机器人应用于法律和税务部门，该工具可以总结文件内容和识别合规问题，加快员工的工作速度。德勤表示，员工可以用“PairD”工具回复电子邮件、起草书面内容、编写代码使任务自动化，也可以帮助创建演示文稿、开展研究和创建会议议程。来源：微信公众号【四大新鲜事儿】