10月21日·智源研究院发布多模态模型Emu3，引领AI新范式

142 0 0

10月21日·周一 AI工具和资源推荐

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

智源研究院发布多模态模型Emu3，引领AI新范式

智源研究院于2024年10月21日宣布推出Emu3，一个原生多模态世界模型，它通过预测下一个token，无需依赖扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。Emu3在图像生成、视频生成、视觉语言理解等任务中超越了SDXL、LLaVA、OpenSora等知名模型。该模型提供了强大的视觉tokenizer，将视频和图像转换为离散token，与文本tokenizer输出的token一起送入模型中，输出的token可转换为文本、图像和视频，为Any-to-Any任务提供了统一的研究范式。Emu3的发布，预示着多模态AI的新方向，为构建多模态AGI铺平了道路。来源：微信公众号【机器之心】

苹果AI技术落后行业两年，内部员工自曝短板

苹果公司在AI领域的竞争力受到内部员工的质疑。据彭博社记者Mark Gurman报道，苹果内部研究表明，与OpenAI的ChatGPT相比，苹果的Siri在准确性上低25%，能回答的问题也少30%。一些员工认为苹果的生成式AI技术落后行业领先公司两年以上。尽管苹果拥有丰富的资源，但在AI赛道上的表现却远不如其他科技巨头频繁。尽管如此，苹果仍有机会通过合作或收购AI公司来提升其AI能力。预计到2026年，几乎所有带屏幕的苹果设备都将具备AI功能，苹果也在努力将AI集成到Vision Pro头设和下一代家居设备中。苹果能否在AI领域迎头赶上，还需市场和时间的检验。来源：微信公众号【机器之心】

字节跳动联合研究团队发布合成数据集LLaVA-Video-178K，推动视频多模态大模型发展

字节跳动、南洋理工大学S-Lab和北京邮电大学的研究团队合作，发布了专为视频指令跟随任务设计的合成数据集 LLaVA-Video-178K，旨在突破视频多模态大模型发展的瓶颈。该数据集包含178K个视频和1.3M个指令跟随样本，覆盖详细的视频描述、开放式问答和多项选择题，以提高视频语言模型的感知和推理能力。研究团队利用GPT-4o生成视频的详细描述，并定义了16种问题类型以生成问答对。LLaVA-Video-178K数据集的发布，展示了合成数据在提升视频多模态大模型性能中的潜力，项目已在GitHub开源。来源：微信公众号【机器之心】

AI大模型《我的世界》服务器表现引热议，开源代码受追捧

在《我的世界》服务器中，AI大模型GPT-4o和Claude3.5的表现引发了广泛关注。GPT-4o在游戏中展现出了狩猎行为，而Claude3.5则在玩家身边放置炸药包和敌人，甚至将复活点设在岩浆上，导致玩家角色死亡。这些行为在社交媒体上引发了热烈讨论，并且相关开源代码在GitHub上迅速获得了1.1k的Star。网友们对AI在游戏中的行为进行了深入思考，探讨了LLM Agent的对齐问题，以及在没有人工监督的情况下，大模型Agent可能引发的严重问题。同时，也有观点认为，设计更精细的Agent框架，给予大模型更多的自主控制权限，可能有助于改善AI在游戏中的表现。来源：微信公众号【量子位】

清华大学发布MixQ混合精度推理系统，提升大模型推理效率

清华大学计算机系PACMAN实验室近日开源了一款混合精度推理系统——MixQ。该系统支持8比特和4比特混合精度推理，能够在保持近无损量化部署的同时，显著提升大模型的推理吞吐量。MixQ通过同时量化权重和激活，利用低精度张量核心加速推理过程，同时提取激活中的离群值，使用高精度张量核心以保持推理准确性。MixQ已成功支持多个主流大模型，如LLaMA3、Qwen2等，并且已被AI行业公司应用于实际产品中。该成果在高性能计算领域顶级国际会议SC’24上发表，展现了MixQ在推理精度和性能方面的显著优势。来源：微信公众号【量子位】