SenseNova-SI ：商汤开源的空间智能大模型

35 0 0

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

SenseNova-SI 是商汤科技于2025年11月10日正式发布的开源空间智能大模型系列，包含2B和8B两个版本，旨在通过深度融合深度学习与空间数据分析技术，为AI提供对三维物理世界的精准理解能力。该模型在空间理解与推理任务上实现突破性进展，不仅超越同量级开源模型，更在四大权威评测（VSI-Bench、MMSI-Bench、MindCube、ViewSpatial）中领先GPT-5、Gemini 2.5 Pro等国际顶尖闭源模型，成为AI从数字空间走向物理世界的关键技术支撑。 SenseNova-SI ：商汤开源的空间智能大模型

功能特点

空间测量与估算：精准量化物体尺寸、距离等空间属性，如识别立方体组合图形的正确俯视图。
空间关系理解：解析物体间的相对位置、方向及布局，例如判断摩托车相对于观察者的左右方位。
视角转换：处理不同视角下的场景信息变化，如通过视角变化推断物体移动方向。
空间重构与形变：理解物体三维结构，在形变或重构后保持空间认知，如复刻珠宝首饰的工艺细节。
空间推理：基于空间信息进行逻辑推理，如预测车辆行驶轨迹或物体移动路径。
多模态融合：结合图像、文本等多模态数据，提升复杂场景理解能力，例如从不同角度拍摄的桌子图像中识别右侧物体。

优缺点

优点：
- 性能领先：在空间智能任务上超越GPT-5等闭源模型，验证“尺度效应”（大规模高质量数据训练显著提升空间认知能力）。
- 轻量化设计：8B版本以较小参数量实现高性能，降低部署成本。
- 开源生态：代码与训练框架开放，配套EASI测评平台与“英雄榜”计划，加速技术迭代与社区协作。
缺点：
- 训练资源需求高：依赖大规模数据与算力，中小企业可能面临训练门槛。
- 动态场景适应性待优化：在极端复杂或快速变化的物理环境中，推理精度需进一步提升。

如何使用

环境搭建：克隆GitHub仓库（GitHub – OpenSenseNova/SenseNova-SI），安装PyTorch等依赖库。
数据准备：使用官方提供的空间智能数据集（如立方体组合图形、多视角场景图像），或自定义符合空间能力分类体系的数据。
模型训练：
- 冷启动阶段：通过监督微调（SFT）让模型学习基础空间认知逻辑。
- 强化学习阶段：利用EASI平台提供的稀疏奖励（如空间测量准确率、推理逻辑正确性）优化模型策略。
推理调用：输入图像或文本指令后，模型自动生成空间分析结果（如物体方位判断、轨迹预测）。

框架技术原理

空间能力分类体系：商汤提出六大核心维度（空间测量、重构、关系判断、视角转换、形变认知、推理），构建系统性训练框架。
尺度效应验证：通过高质量、大规模数据训练显著提升模型空间认知能力，训练方法具备通用性，可增强不同架构基模型（如InternVL）。
多模态融合架构：基于InternVL等基础架构，有效融合图像与文本信息，提升复杂场景理解能力。例如，在判断桌子右侧物体时，模型可结合图像特征与文本描述（如“门位于桌子右侧”）进行推理。

创新点

首次验证空间智能领域的“尺度效应”：通过数据规模扩张实现性能质变，而非简单参数堆砌。
开源生态闭环：同步开放模型代码、测评平台与激励计划，推动技术标准化与社区协作。
物理世界交互能力：为自动驾驶、机器人等具身智能体提供关键技术支撑，例如通过空间推理预测行人或车辆行为。

评估标准

四大权威基准测试：
- VSI-Bench：评估空间测量与估算能力（如物体尺寸识别）。
- MMSI-Bench：测试多模态空间关系理解（如结合图像与文本判断物体方位）。
- MindCube：考察空间推理与动态轨迹预测（如车辆行驶方向判断）。
- ViewSpatial：验证视角转换与形变认知能力（如从不同视角识别物体移动路径）。
实际应用场景验证：在自动驾驶、机器人导航等任务中评估模型在真实物理环境中的表现。