中文口型同步优化
项目定位
针对 MuseTalk 中文场景下口型不同步、关键音素表现弱的问题，从数据质量、同步预处理和模型微调三个层面联合优化，提升中文发音的可用性。
MuseTalk LatentSync Data Cleaning Alignment Chinese Lip Sync
技术链路
- 先从中文场景失败案例出发，定位关键问题集中在素材质量、遮挡、音画错位和特定音素表达不足。
- 对数据做系统清洗，重点处理磨皮美颜、字幕挡脸、手挡脸、模糊样本等会影响口型监督信号的噪声。
- 做同步预处理与 offset 校正，减少标签偏移带来的训练误差。
- 在 MuseTalk / LatentSync 上做两阶段微调，并对双唇音、撮口音、大开口元音、儿化音、快语速场景进行针对性观察。
效果展示
当前详情页先展示量化结果与关键问题分布，后续可以直接替换为真实口型前后对比视频。
结果
- 同步预处理后平均绝对偏移由 1.95 帧 降至 0.62 帧。
- 完全对齐占比由 15.76% 提升至 40.08%。
- 在双唇音、撮口音、大开口元音、儿化音和快语速场景下均有明显改善。
- 形成了可继续扩充的中文口型数据清洗与同步流程，而不是只得到一次性的单模型结果。