Trellis

Trellis是由清华大学、中国科学技术大学和微软研究院联合开发的一款高质量3D资产生成模型。它基于统一的Structured Latent (SLAT) 表示法和修正流变换器（Rectified Flow Transformers）构建，能够接收文本或图像提示，生成各种格式的高质量3D资产，如辐射场、3D高斯和网格等。

功能特点

1. 高质量3D生成：

   • 高精度：能够生成具有复杂形状和纹理细节的多样化高品质3D资产。
   • 多格式输出：支持将3D资产生成为辐射场、3D高斯和网格等多种格式，满足不同需求。

2. 多功能性：

   • 文本和图像提示：不仅可以通过文本描述生成3D模型，还能根据图像生成相应的3D资产。
   • 灵活编辑：允许用户对生成的3D资产进行局部编辑，如添加、删除或替换特定区域，无需整体调整。

3. 高效性：

   • 大模型训练：利用50万个3D模型数据集训练了20亿参数的大模型，提高了生成质量和泛化能力。
   • 快速生成：在高性能硬件支持下，生成速度很快，例如使用4080显卡时，生成时间约为10秒，导出glb格式模型约20秒。

4. 易用性：

   • 一键安装：提供了详细的本地部署教程和一键安装包，方便用户快速上手。
   • 在线体验：用户可以在Hugging Face等平台上在线体验Trellis的功能，无需本地部署。

优缺点

优点：

1. 高质量：生成的3D模型精度高，细节丰富，适用于多种应用场景。
2. 多功能性：支持文本和图像提示，以及多种输出格式和编辑功能，满足用户多样化需求。
3. 高效性：训练了大规模参数模型，生成速度快，提高了工作效率。
4. 易用性：提供了详细的教程和一键安装包，降低了使用门槛。

缺点：

1. 硬件要求高：为了获得良好的生成速度和效果，需要较高配置的显卡和内存。
2. 网络连接依赖：部分功能（如在线体验）需要稳定的网络连接。

主要应用场景

1. 游戏开发：生成游戏中的角色、道具和场景等3D资产，提高游戏画面的真实感和丰富度。
2. 电影制作：用于电影特效的制作，如生成虚拟角色、场景和道具等，降低制作成本和时间。
3. 虚拟现实（VR）：生成VR场景中的3D对象，提升用户体验和沉浸感。
4. 建筑设计：辅助建筑设计师快速生成建筑模型，进行方案展示和修改。
5. 教育：用于3D打印教学、科学模拟实验等场景，帮助学生更好地理解和掌握知识。

如何使用Trellis

1. 环境准备：

   • 确保计算机安装了支持CUDA的NVIDIA显卡，显存建议在16GB以上。
   • 安装Python 3.8或更高版本。
   • 根据操作系统安装必要的依赖包，如Linux下的apt-get、Windows下的Visual Studio等。

2. 模型下载与安装：

   • 访问Trellis的GitHub仓库（https://github.com/microsoft/TRELLIS）下载预训练模型。
   • 使用pip安装Trellis的Python包，或在Linux下按照官方教程进行编译安装。

3. 运行模型：

   • 使用Python脚本加载模型，并传入文本或图像提示。
   • 等待模型生成3D资产，并保存为所需格式。

4. 模型编辑与调整（可选）：

   • 使用Trellis提供的编辑工具对生成的3D资产进行局部修改和调整。
   • 保存修改后的模型，并导出为所需格式。

收费标准

目前，Trellis的开源版本是免费提供的，用户可以在GitHub等平台上下载和使用。然而，对于商业用途或需要高级功能（如定制化训练、技术支持等）的用户，可能需要与微软或相关合作伙伴联系，了解具体的收费标准和合作方式。

AI工具和资源推荐-AI全网资源导航-aiguide.cc