3D数字人实时对话 Demo
项目定位
围绕 3D 数字人的真实可演示链路做系统打通，让角色资产接入、实时对话、情绪控制、动作控制、背景切换以及人物与相机控制能够在一个 Demo 里连续工作。
Unreal Engine MetaHuman Live Link Pixel Streaming Realtime Dialogue Emotion Control
当前支持功能
- 实时对话：支持网页侧输入触发角色响应，完成 Listening、Thinking、Talking 等基本交互闭环。
- 情绪控制：支持根据交互状态或控制指令切换角色情绪表现，增强表达层次。
- 动作控制：支持对角色动作进行调用与切换，不只停留在静态站姿或单一播报状态。
- 背景切换：支持在不同展示背景之间切换，便于 Demo 演示不同场景。
- 人物与相机控制：支持角色与镜头的基础控制，便于调整展示构图和演示视角。
技术链路
- 以 Unreal Engine + MetaHuman 为渲染与角色基础，确认角色资产、装配和运行时控制接口。
- 围绕音频输入与面部动画驱动，打通音频到口型、表情和情绪表现的响应链路。
- 设计对话状态机，支持 Idle、Listening、Thinking、Talking 等交互状态切换，并与动作控制联动。
- 补充背景切换、人物控制和相机控制接口，让 Demo 更适合实际演示和场景展示。
- 结合 Pixel Streaming / Web 对话界面，验证网页侧触发、角色响应与演示展示的一致性。
人脸重建与角色接入
这一节展示我在 FaceBuilder 到 MetaHuman 链路中完成的人脸重建与角色接入步骤。
第一步是在 FaceBuilder 中做单图标点和头模拟合，先把照片中的五官轮廓、脸型和头部结构对到可编辑网格上，得到可继续处理的头部基础模型。
得到头模后，我会先导入 Unreal Engine 做预览，检查基础材质、UV、法线和头部比例是否已经达到可进入 MetaHuman 流程的程度。
核心步骤是 Mesh to MetaHuman 的身份解算。这里要把导入头模和 MetaHuman 身份骨架对齐，让系统识别出可重建的人脸结构，而不是只停留在静态头模展示。
解算完成后再做最终装配，把头部、身体和默认服装组合成完整角色。到这一步，角色才真正能进入后续实时对话和驱动验证流程。
效果展示
3D 数字人 Demo 视频，可直接在页面内播放。也可单独打开查看原视频。
结果
- 完成可对话 3D 数字人 Demo，当前已支持对话、情绪控制、动作控制、背景切换以及人物与相机控制。
- 验证了 Character Assembly、Live Link、交互控制等关键模块可以作为后续工程化扩展基础。
- 补齐了基于 FaceBuilder / MetaHuman 的角色资产接入方案，让 Demo 具备可替换角色来源与完整演示闭环。