Sitcom-Crafter —— 北航联合港中文等高校推出的 3D 人类动作生成系统

AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐，在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。

主要介绍

Sitcom-Crafter是由北京航空航天大学、香港中文大学（深圳）、悉尼科技大学、中山大学等高校联合推出的3D场景中人类动作生成系统。该系统基于剧情驱动，能够高效生成符合物理逻辑的动作，为动画制作、游戏开发以及虚拟现实等领域的设计师提供高效的智能化解决方案。

功能特点

1. 剧情驱动的动作生成：

   • Sitcom-Crafter支持通过剧情指导生成多样化且物理真实的动作。用户可以提供长剧情指导，系统能够解析剧情文本并转化为具体的角色动作指令。

2. 多类型动作支持：

   • 系统支持人类行走、场景交互和多人交互等多种动作类型。角色可以在3D场景中自然行走，与环境物体进行符合物理逻辑的交互，如开门或拾取物品，以及与其他角色进行协调动作。

3. 动作流畅性和自然性优化：

   • Sitcom-Crafter通过增强模块优化动作的流畅性和自然性。这包括手部姿态增强、碰撞修正和3D重定向等功能，确保生成的动作既符合物理规律又生动自然。

4. 高效的智能化解决方案：

   • 系统采用先进的自监督学习和扩散模型技术，无需额外数据采集即可生成符合物理逻辑的动作。这显著提升了创作效率，降低了数据成本。

优缺点

优点：

1. 高效性：

   • Sitcom-Crafter能够快速生成多样化且物理真实的动作，提高了动画制作和游戏开发的效率。

2. 灵活性：

   • 系统支持多种动作类型和场景交互，能够满足不同剧情和创作需求。

3. 智能化：

   • 通过自监督学习和扩散模型技术，系统能够智能推测场景信息，生成符合物理逻辑的动作。

4. 低成本：

   • 无需额外数据采集即可生成动作，降低了数据成本。

缺点：

1. 技术门槛：

   • Sitcom-Crafter作为先进的3D动作生成系统，可能需要一定的专业知识和技能才能充分利用其功能。

2. 硬件要求：

   • 生成高质量的3D动作可能需要较高的计算资源和硬件要求。

如何使用

使用Sitcom-Crafter进行3D人类动作生成通常涉及以下步骤：

1. 环境配置：

   • 确保计算机硬件和软件环境满足Sitcom-Crafter的运行要求。

2. 剧情输入：

   • 提供剧情文本或剧本，作为动作生成的指导。

3. 系统解析与生成：

   • Sitcom-Crafter将自动解析剧情文本，生成符合剧情的角色动作指令，并生成相应的3D动作。

4. 动作优化与导出：

   • 用户可以对生成的动作进行优化和调整，然后导出为所需的格式，用于动画制作、游戏开发或其他应用场景。

框架结构

Sitcom-Crafter系统由八大部分组成：

1. 剧情解析模块：

   • 使用大型语言模型解析剧本，转化为具体的角色动作指令。

2. 运动生成模块：

   • 包括人类行走、场景交互和多人交互等动作生成功能。

3. 动作优化模块：

   • 负责手部姿态增强、碰撞修正和3D重定向等功能，确保动作的流畅性和自然性。

4. 增强模块：

   • 提供其他辅助功能，如运动同步、手部姿态检索等，确保不同模块生成的运动在时间上保持一致。

创新点

1. 场景感知的多人交互运动生成：

   • Sitcom-Crafter提出了场景感知的角色-角色交互生成模块，专门解决多人交互中的碰撞、动作同步以及场景适应性等问题。

2. 自监督SDF策略：

   • 系统采用自监督SDF（Signed Distance Function）策略，在训练过程中自动生成环境3D体素点信息，自动标注哪些区域可行走，哪些为障碍物，从而在生成过程中主动规避场景碰撞。

3. 双角色局部归一化策略：

   • Sitcom-Crafter提出了双角色局部归一化策略，使两位角色的运动分布更加一致，避免了传统方法中一方角色较易学习而另一方角色较难学习的问题。

评估标准

评估Sitcom-Crafter系统生成的3D动作时，可以采用以下标准：

1. 物理真实性：

   • 动作是否符合物理逻辑，如角色在行走时是否发生足部滑动或穿透物体等现象。

2. 动作流畅性：

   • 动作是否流畅自然，无生硬或突兀的过渡。

3. 场景适应性：

   • 动作是否适应不同的3D场景，如角色在复杂环境中的行走和交互是否自然合理。

4. 多样性：

   • 系统是否能够生成多样化的动作类型，满足不同剧情和创作需求。

应用领域

Sitcom-Crafter系统广泛应用于以下领域：

1. 动画制作：

   • 提高动画制作的效率和质量，减少人工精细调节和动作捕捉的成本。

2. 游戏开发：

   • 为游戏角色提供自然、真实的动作，提升游戏的沉浸感和体验。

3. 虚拟现实：

   • 在虚拟现实应用中，为虚拟角色提供符合物理逻辑的动作，增强用户的交互体验。

项目地址

• 官网：https://windvchen.github.io/Sitcom-Crafter/
• GitHub仓库：https://github.com/WindVChen/Sitcom-Crafter
• 论文链接：https://arxiv.org/abs/2410.10790

用户可以通过上述链接访问Sitcom-Crafter的官方网站和GitHub仓库，获取更多关于系统的信息和资源。