视频人物替换为 3D 虚拟角色
项目定位
把真实视频中的人物动作迁移到 3D 虚拟角色，并与背景重新合成，目标是形成一条稳定、可自动化处理的视频角色替换流程。
SAM ProPainter WHAM Blender Python Mixamo SMPLX
技术链路
- 从原始视频中分离人物与背景，先得到后续合成所需的背景素材。
- 通过 WHAM 捕捉人物动作，并转为可驱动 3D 角色的中间表示。
- 在 Blender 中用 Python 脚本串联 SMPLX、Mixamo、Auto-Rig Pro 等工具，完成动作重定向与角色渲染。
- 最终把渲染后的 3D 虚拟角色动作与背景重新组合，得到替换结果。
效果展示
项目把人物分离、动作捕捉、角色重定向和最终合成组织成一条可自动化执行的流程。
结果
- 项目成功申请发明专利：一种将视频中的人物替换为 3D 虚拟角色的方法。
- 沉淀出基于 Blender Python 的流程封装经验，降低了多插件串联时的人工操作成本。
- 为 3D 虚拟角色内容生产提供了“视频驱动角色”的可复用能力。