视频人物替换为 3D 虚拟角色

项目定位

把真实视频中的人物动作迁移到 3D 虚拟角色，并与背景重新合成，目标是形成一条稳定、可自动化处理的视频角色替换流程。

SAM ProPainter WHAM Blender Python Mixamo SMPLX

技术链路

  • 从原始视频中分离人物与背景，先得到后续合成所需的背景素材。
  • 通过 WHAM 捕捉人物动作，并转为可驱动 3D 角色的中间表示。
  • 在 Blender 中用 Python 脚本串联 SMPLX、Mixamo、Auto-Rig Pro 等工具，完成动作重定向与角色渲染。
  • 最终把渲染后的 3D 虚拟角色动作与背景重新组合，得到替换结果。

效果展示

视频人物替换为 3D 虚拟角色流程图

这张实际流程图覆盖人物分离、背景恢复、动作获取、角色重定向和最终合成几个关键环节。

左侧是原始人物视频，用来展示进入角色替换流程之前的真实拍摄输入。也可单独打开查看原视频。

右侧是替换为 3D 虚拟角色后的最终效果，对应 PPT 里的结果演示视频。也可单独打开查看结果视频。

结果

  • 项目成功申请发明专利：一种将视频中的人物替换为 3D 虚拟角色的方法。
  • 沉淀出基于 Blender Python 的流程封装经验，降低了多插件串联时的人工操作成本。
  • 为 3D 虚拟角色内容生产提供了“视频驱动角色”的可复用能力。