12月11日

微软推出MatterGen，一款无机材料设计的生成模型

生成模型通过在给定所需属性约束的情况下直接生成全新的材料，为材料设计提供了新的范例。Matter Gen，这是一种能够在元素周期表中生成稳定、多样化的无机材料的模型，并且可以进一步进行微调，以引导生成过程适应广泛的属性限制。 为了实现这一点，我们引入了一种新的基于扩散的生成过程，通过逐渐细化原子类型、坐标和周期晶格来生成晶体结构。 我们进一步引入适配器模块，以便能够使用标记数据集对任何给定的属性约束进行微调。 与之前的生成模型相比，MatterGen 生成的结构新颖且稳定的可能性高出两倍以上，并且接近局部能量最小值的可能性高出 15 倍以上。 经过微调，MatterGen 成功生成了具有所需化学、对称性以及机械、电子和磁性特性的稳定的新型材料。 最后，我们通过提出具有高磁密度和低供应链风险的化学成分的结构来展示多性能材料设计能力。 我们相信，生成材料的质量和 MatterGen 能力的广度代表了在创建材料设计通用生成模型方面的重大进步。来源：twitter

Meta推出Purple Llama，在生成人工智能的新世界中迈向开放的信任和安全

Meta宣布推出 Purple Llama，这是一个伞式项目，旨在为开发人员提供公平的竞争环境，以便根据我们负责任使用指南中分享的最佳实践，负责任地部署生成式 AI 模型和体验。随着时间的推移，该项目将汇集工具和评估，帮助社区通过开放的生成式人工智能模型进行负责任的构建。 初始版本将包括网络安全和输入/输出保障的工具和评估，不久的将来还会推出更多工具。Purple Llama 项目中的组件将获得许可，以实现研究和商业用途。 这是实现社区协作以及标准化生成人工智能开发信任和安全工具的开发和使用的重要一步。该模型已经在公开可用的数据集上进行了训练，可以检测可能与许多开发人员用例相关的常见类型的潜在风险或违规内容。 最终，我们的愿景是使开发人员能够自定义此模型以支持相关用例，并更轻松地采用最佳实践和改进开放生态系统。来源：Meta

StableLM Zephyr 3B：StableLM 的新增功能，为边缘设备带来强大的 LLM 助手

StableLM Zephyr 3B 是一种新的聊天模型，拥有 30 亿参数的大型语言模型 (LLM)，比 7B 模型小 60%，无需高端硬件即可在各种设备上实现准确且响应灵敏的输出。 该模型是现有 StableLM 3B-4e1t 模型的扩展，受到 HuggingFace 的 Zephyr 7B 模型的启发。 凭借 StableLM Zephyr 的 30 亿个参数，该模型有效地满足了广泛的文本生成需求，从简单的查询到边缘设备上的复杂教学上下文。StableLM Zephyr 3B 的开发重点是创建一个在文本生成方面表现良好并符合人类偏好的模型。 受 Zephyr 7B 的启发，调整了其训练流程，第一步是对多个指令数据集进行监督微调，包括 UltraChat、MetaMathQA、Evol Wizard 数据集和 Capybara 数据集。 在第二步中，我们利用 UltraFeedback 数据集将模型与直接偏好优化 (DPO) 算法对齐。 该数据集来自 OpenBMB 研究小组，包含 64,000 个提示和相应的模型响应。 最近发布的模型，例如 Zephyr-7B、Neural-Chat-7B 和 Tulu-2-DPO-70B，成功地使用了直接偏好优化 (DPO)。 然而，Stable Zephyr 是该类型的首批模型之一，但具有有效的 3B 参数大小。来源：stability.ai