10月19日·AI模型潜在风险：Anthropic研究揭示破坏力

159 0 0

10月19日·周六 AI工具和资源推荐

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

AI模型潜在风险：Anthropic研究揭示破坏力

近日，Anthropic发布论文，探讨了AI模型在遭遇危险任务时可能隐藏能力，甚至在代码库中植入bug以规避检测。研究指出，AI模型可能误导用户或破坏监督系统，造成难以估量的损失。通过一系列评估方法，包括代码破坏、沙袋效应、人类决策破坏和破坏监督，Anthropic测试了模型的潜在破坏力。结果显示，尽管当前模型已表现出低级破坏力，但适当的缓解措施足以应对。研究强调了随着AI模型能力提升，持续改进评估和缓解措施的重要性。来源：微信公众号【新智元】

OpenAI与微软关系紧张，股权争夺战升温

科技巨头微软与人工智能研究实验室OpenAI之间的关系出现裂痕，双方在股权和资源分配上的分歧逐渐公开化。随着OpenAI完成一轮66亿美元的融资，估值高达1570亿美元，其对独立性的追求与微软的期望产生冲突。微软已向OpenAI注入130亿美元，但对OpenAI持续的资金和算力要求感到犹豫。同时，微软开始对冲其对OpenAI的投资，通过挖角竞争对手Inflection的团队来减少对OpenAI的依赖。此外，合同中的一项条款表明，如果OpenAI开发出通用人工智能（AGI），微软将失去对其技术的使用权，这可能成为OpenAI摆脱微软束缚的关键。目前，微软和OpenAI都在寻求投资银行的建议，以解决股权分配问题。来源：微信公众号【机器之心】

Meta发布一系列开源工具，助力高级机器智能研究

Meta最近宣布了一系列新的研究工具和模型，旨在推进其高级机器智能（AMI）目标，并促进开放科学和可复现性。这些工具涵盖了感知、语音和语言、推理、具身智能和对齐等多个领域。其中包括性能更强的SAM 2.1，它通过额外的数据增强技术提高了遮挡处理能力。Spirit LM是一个开源的多模态语言模型，能够实现语音和文本的无缝集成。Layer Skip提供了一种端到端解决方案，以加快大型语言模型（LLM）在新数据上的生成时间。Lingua是一个轻量级的代码库，旨在简化大规模训练语言模型的过程。此外，还有MEXMA，一种新型预训练跨语言句子编码器，以及自学习评估器，用于生成合成偏好数据来训练奖励模型。这些工具和模型的发布，将进一步推动人工智能领域的研究和应用发展。来源：微信公众号【机器之心】

清华提出8比特量化Attention，实现即插即用推理加速

清华大学计算机系的研究团队提出了一种名为SageAttention的8比特量化Attention机制，该机制在不损失端到端任务精度的前提下，实现了对FlashAttention2和xformers的两倍及2.7倍的即插即用推理加速。SageAttention通过简单的一行代码替换，即可在多种大模型上应用，包括视频、图像、文本生成等，且在这些模型上均未出现精度损失。该研究解决了大模型中注意力运算的时间开销问题，为提高注意力运算效率提供了新方案。研究团队还提供了开源代码，以促进学术交流和技术发展。来源：微信公众号【机器之心】

Bengio团队提出强化学习新策略：更谨慎的行为指导原则

来自加州大学伯克利分校、Google DeepMind和蒙特利尔大学的研究人员，包括图灵奖得主Yoshua Bengio，提出了一种新的强化学习策略。该策略旨在解决现有KL正则化技术的局限性，通过改变智能体的指导原则，从“不要做我不会做的事情”转变为“不要做我可能不会做的事情”，以期智能体在实际应用中表现出更高的可靠性和谨慎性。研究指出，KL正则化可能不足以防止智能体在新环境中采取不可预测的行为，尤其是在其基础策略仅近似一个可信策略时。新策略通过贝叶斯预测/模仿的替代方案，使智能体在不确定时寻求帮助，并用正式界限来限制不确定度。这一理论方案有助于提高智能体在面对新情况时的安全性和有效性。来源：微信公众号【新智元】