Text2Motion 与去脚滑优化

项目定位

在文本生成动作任务中，同时处理“生成速度”和“动作可信度”两个实际问题。前者影响研发迭代与演示效率，后者直接决定角色落地时是否自然。

Diffusion DPM-Solver++ 2M Text2Motion Foot Contact SMPLH

技术链路

  • 先把 Xsens 采集动作批量重定向到 SMPLH 骨骼，并导出为可进一步处理的 FBX 数据。
  • 通过脚本读取 FBX 动画，转成 HumanML3D 方法可用的数据格式，支撑 Music2Dance / Text2Motion 数据集制作。
  • 在生成模型阶段采用更高效的采样器、文本特征缓存与半精度推理，降低实验和演示成本。
  • 额外引入脚步接地判断，对脚滑问题做针对性修正，提升生成动作的可信度与可用性。

效果展示

Text2Motion 与去脚滑优化技术图

项目强调从数据处理、采样加速到脚步接地建模的完整动作生成链路。

结果

  • 项目成果中稿 2024 ACM MM Oral，接受率 < 3.97%。
  • 论文题目为 StableMoFusion: Towards Robust and Efficient Diffusion-based Motion Generation Framework，本人为第二作者。
  • 形成了从动作数据制作到生成质量改进的完整研发闭环，而不是只优化单一模型模块。