Gemini Robotics On-Device:谷歌推出的首个本地具身智能模型

12 0 0

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

Gemini Robotics On-Device是Google DeepMind团队推出的首个完全在机器人本地运行的视觉-语言-动作（VLA）模型。该模型将AI引入机器人，无需依赖云端计算，即可在机器人设备上独立运行，实现低延迟响应和高精度操作。Gemini Robotics On-Device不仅解决了网络延迟和连接不稳定的问题，还通过微调功能，使开发者能够轻松适应新任务，为机器人领域带来了全新的可能。

Gemini Robotics On-Device:谷歌推出的首个本地具身智能模型

功能特点

本地运行：模型完全在机器人本地运行，无需依赖云端计算，确保了低延迟和稳定性，尤其适用于网络不稳定的环境。
高精度操作：能够完成高精度的操作任务，如拉开包袋拉链、折叠衣物以及系鞋带等。
微调功能：谷歌首次开放VLA模型的微调功能，开发者只需50到100个演示样本，就能让模型适应全新的任务。
跨平台适配：模型不仅能在ALOHA机器人上运行，还能适配到双臂Franka FR3机器人和Apptronik的Apollo人形机器人，展现了强大的泛化能力。
遵循自然语言指令：模型能够理解并遵循自然语言指令，完成复杂的双手操作任务。

优缺点

优点：

离线运行：解决了网络延迟和连接不稳定的问题，提高了机器人的独立作业能力。
高精度与泛化能力：模型在视觉泛化、语义理解和行为泛化等多个维度上表现出色，能够处理分布外任务和复杂多步骤指令。
微调便捷：开发者只需少量演示样本即可微调模型，降低了开发成本和风险。

缺点：

多步骤逻辑规划能力有限：对于需要先后逻辑、顺序安排的操作，如做三明治、整理桌面等，模型的表现可能不尽如人意。
数据依赖：尽管模型只需少量演示样本即可上手，但最理想的示范数据仍需由真人实际操控机器人时采集，这可能增加了数据获取的难度和成本。

如何使用

获取模型与SDK：开发者可以通过申请加入可信测试者计划，获取Gemini Robotics On-Device的模型和SDK。
环境搭建：在机器人设备上搭建运行环境，确保模型能够顺利部署。
任务演示与微调：通过50到100个演示样本，对模型进行微调，使其适应新任务。
集成与测试：将微调后的模型集成到机器人系统中，并在MuJoCo物理模拟器或现实环境中进行测试。

框架技术原理

Gemini Robotics On-Device基于Gemini 2.0的多模态推理能力和真实世界理解能力，将视觉、语言和动作三种模态融合在一起。模型通过逐像素多层次音频嵌入策略（虽主要用于音频驱动模型，但类似技术可应用于多模态融合），实现了视觉、语言和动作之间的精细对齐。同时，模型采用了基于LoRA的训练方法，在引入新条件的同时保留了基础模型的强大能力。