混元3D-Part : 腾讯推出的组件式3D生成模型

AI工具2小时前发布 FuturX-Editor
8 0

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐,在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

混元3D-Part是腾讯混元团队于2025年9月26日发布的业界首个高质量原生3D组件生成模型,旨在解决传统3D生成算法难以输出可分解语义组件的问题。该模型通过“P3-SAM(原生3D分割模型)+X-Part(工业级组件生成模型)”的架构,首次实现高精度、可控的组件式3D生成,支持50+组件自动拆分与结构化输出,为游戏开发、3D打印、AR/VR等领域提供更灵活的创作范式。

混元3D-Part : 腾讯推出的组件式3D生成模型

功能特点

  1. 组件式生成:支持将整体3D模型分解为独立部件(如汽车拆分为车身、轮子),便于游戏绑定物理逻辑或3D打印逐部件组装。
  2. 高精度可控:生成的部件几何质量高、结构合理,在基准测试中分割与生成结果大幅超越现有模型。
  3. 多模态输入兼容:可结合混元3D整体生成模型(如混元3D 2.5/3.0)使用,先生成整体Mesh再通过P3-SAM分割。
  4. 开源免费:完整开放推理代码和权重,支持学术研究与工业部署。

优缺点

优点

  • 实用性:解决3D模型“不可拆解”的痛点,适配游戏、3D打印等实际生产场景。
  • 精度领先:在PartObj-Tiny等基准测试中表现优于现有开源/闭源模型。
  • 低成本部署:模型轻量化,无需昂贵硬件即可本地迭代。

缺点

  • 依赖整体模型:需先通过混元3D生成整体Mesh,无法直接从零生成组件。
  • 特定场景限制:对非人类生物或复杂结构(如奇幻生物)的分割能力尚未验证。

如何使用

  1. 访问混元3D Studio:通过腾讯混元3D创作引擎(官网或Hugging Face平台)免费使用。
  2. 上传整体模型:使用混元3D 2.5或3.0生成整体3D Mesh。
  3. 自动分割与生成
    • 通过P3-SAM获取语义特征和边界框,完成组件分割。
    • X-Part将整体Mesh分解为独立部件,输出高保真几何体。
  4. 下载与编辑:获取可编辑的3D组件文件,用于游戏开发、3D打印等场景。

框架技术原理

  1. P3-SAM(原生3D分割模型)
    • 数据驱动:基于370万个高质量部件级掩码的三维网格数据集训练,摆脱对2D数据的依赖。
    • 全自动分割:通过最远点采样(FPS)和非极大值抑制(NMS)生成部件掩码,提升鲁棒性。
  2. X-Part(组件生成模型)
    • 包围盒提示:利用P3-SAM输出的边界框和点云语义特征,实现可控生成。
    • 特征扰动机制:引入高维点级语义特征,缓解输入过拟合,保证部件结构一致性。
  3. 联合优化:P3-SAM与X-Part协同工作,从分割到生成全流程自动化,支持50+组件同时输出。

创新点

  1. 原生3D分割架构:P3-SAM是业界首个纯3D分割模型,无需依赖2D SAM,显著提升分割精度。
  2. 组件式生成范式:X-Part突破传统“一体化”模型局限,实现高保真、可编辑的部件生成。
  3. 多模态可控性:支持包围盒、点云等多条件输入,灵活适配不同生产需求。
  4. 自动化标注流程:开发了一套自动化部件标注工具,生成大规模高质量训练数据。

评估标准

  1. 分割精度:在PartObj-Tiny、PartObj-Tiny-WT和PartNetE等基准测试中,评估部件边界框的准确性和语义一致性。
  2. 生成质量:通过几何保真度、结构合理性等指标,衡量生成部件与原始模型的匹配度。
  3. 可控性:验证模型对包围盒、点云等输入条件的响应能力,确保生成结果符合预期。
  4. 效率:评估模型在推理阶段的资源消耗和速度,支持实时应用需求。

应用领域

  1. 游戏开发:将复杂3D模型拆分为可单独操作的组件,简化资产制作流程,提升交互丰富度。
  2. 3D打印:逐部件打印降低大件变形风险,支持个性化定制生产。
  3. AR/VR:生成可交互的3D组件,优化虚拟场景的沉浸感。
  4. 工业设计:快速迭代产品原型,支持结构优化和功能验证。

项目地址

© 版权声明

相关文章

暂无评论

暂无评论...