2月21日

在Sora引爆视频生成时，Meta开始用Agent自动剪视频了，华人作者主导

随着自然语言被用来处理与视频剪辑相关的任务，用户可以直接传达自己的意图，从而不需要手动操作。但目前来看，大多数视频剪辑工具仍然严重依赖手动操作，并且往往缺乏定制化的上下文帮助。因此，用户只能自己处理复杂的视频剪辑问题。关键在于如何设计一个可以充当协作者、并在剪辑过程中不断协助用户的视频剪辑工具？来自多伦多大学、 Meta（Reality Labs Research）、加州大学圣迭戈分校的研究者提出利用大语言模型（LLM）的多功能语言能力来进行视频剪辑，并探讨了未来的视频剪辑范式，从而减少与手动视频剪辑过程的阻碍。研究者推出了视频剪辑工具 LAVE，它具备了一系列由 LLM 提供的语言增强功能。LAVE 引入了一个基于 LLM 的规划和执行智能体，该智能体可以解释用户的自由格式语言命令、进行规划和执行相关操作以实现用户剪辑目标。智能体可以提供概念化帮助（如创意头脑风暴和视频素材概览）和操作帮助（包括基于语义的视频检索、故事板和剪辑修剪）。来源：微信公众号【机器之心】

NVIDIA 加速澳大利亚 Pawsey 超算中心的量子计算探索工作

澳大利亚 Pawsey 超算研究中心将在其国家超算和量子计算创新中心由 NVIDIA Grace Hopper™ 超级芯片加速的 NVIDIA® CUDA Quantum 平台，进一步推动该中心在量子计算领域取得突破性进展。该中心的研究人员将使用 CUDA Quantum（一个具有强大模拟工具并且能够对混合 CPU、GPU 和 QPU 系统进行编程的开源混合量子计算平台）以及 NVIDIA cuQuantum 软件开发工具套件（包含专为加速量子计算工作流程而优化的程序库和工具）。NVIDIA Grace Hopper 超级芯片结合了 NVIDIA Grace CPU 和 Hopper GPU 架构，具有超强性能，可在加速器上运行高保真、可扩展的量子模拟，并且能够与未来的量子硬件基础设施无缝对接。Pawsey 超算研究中心将部署这套系统，直接在传统的高性能计算系统上运行量子工作负载，充分利用这些系统的处理能力，并开发出能够智能地将计算划分到经典内核和量子内核的混合算法，通过量子设备实现计算效率的提升。该中心将从各种量子变分算法入手，研究量子机器学习、化学模拟、射电天文学图像处理、金融分析、生物信息学和专用量子模拟器。来源：微信公众号【 NVIDIA英伟达企业解决方案】

Groq​大模型推理芯片每秒500tokens超越GPU，喊话3年超过英伟达

AI芯片创企Groq开放了自家产品的免费试用。相比其他AI聊天机器人，Groq闪电般的响应速度迅速引爆互联网讨论。经过网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。Groq并没有研发新模型，它只是一个模型启动器，主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。冠绝大模型圈子的响应速度，来自驱动模型的硬件——Groq并未使用英伟达的GPU，而是自研了新型AI芯片——LPU（Language Processing Units）。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。驱动包括GPT等主流大模型的GPU，是一种为图形渲染而设计的并行处理器，有数百个内核，而LPU架构则与GPU使用的SIMD（单指令，多数据）不同，这种设计可以让芯片更有效地利用每个时钟周期，确保一致的延迟和吞吐量，也降低了复杂调度硬件的需求：Groq的LPU推理引擎不是普通的处理单元；它是一个端到端系统，专为需要大量计算和连续处理的应用（如LLM）提供最快的推理而设计。通过消除外部内存瓶颈，LPU推理引擎的性能比传统GPU高出几个数量级。来源：微信公众号【电子技术应用ChinaAET】