实时数字人真正难在哪：延迟、表情和对话记忆

看数字人演示，注意力很容易被脸吸走：皮肤质感、眼神光泽、微笑弧度。

但真正决定一个数字人能不能用的，是另外三件枯燥的事：端到端延迟有多高、表情能不能跟上语音、连续对话里它记不记得刚才说过什么。这三件事任何一件没过关，用户三秒内就会觉得「假」，而且说不出为什么。

第一关：延迟

延迟是数字人的生死线。

用户说完一句话之后，系统要完成一整条链路：语音识别 → 理解意图 → 决定怎么答 → 生成语音 → 生成口型和表情 → 推流出来。任何一环慢了，用户感受到的就是「它反应慢」。

为什么延迟这么致命：人对对话节奏极其敏感。真实对话里的响应间隔通常在几百毫秒内；超过 1.5 秒，你就会有明显的「在等机器」的感觉，对话的沉浸感立刻崩掉。

所以评估数字人，第一件事是测端到端延迟，而不是看演示视频。演示视频可以剪辑、可以挑最快的一次，实测数据不行。

测法：准备 10 个你业务里的真实问题，用真实网络环境（不是内网专线）跑三遍，记录从说完到听到第一个音的时间。取 p75，别取平均值。

第二关：表情与语音同步

第二关是同步：口型对不对得上语音，表情变的是不是时候。

这一关常见于两种翻车：

• 口型滞后：声音先出来，嘴慢半拍。用户不一定说得出问题在哪，但会觉得别扭。
• 表情不匹配：说的是严肃内容，脸上挂着标准微笑。这种错位比口型滞后更破坏信任。

难点在于表情不是「配音」能解决的。它需要模型理解这句话的情绪，然后驱动面部。如果情绪判断错了，表情就一定错。

验收方法：准备三类内容——陈述事实、表达安慰、讲一个轻松的点。看它在三类内容上的表情是否真的有区别。如果三类都是同一种微笑，说明它的情绪驱动是模板化的，不是理解出来的。

第三关：对话记忆

第三关最容易被忽略，也最容易在真实使用中翻车。

演示里通常只问一两个问题，看不出记忆能力。真实对话里，用户会说「刚才你说的那个方案，如果预算减半呢」——这里的「那个方案」指的是三轮前的内容。

记不住上下文的数字人，每一次对话都像第一次见面。 用户要不断重复自己说过的话，几轮之后就放弃了。

测法：设计一个五轮的对话，第三轮引入一个具体信息（比如一个订单号、一个日期、一个偏好），第五轮再引用它。看它能不能接上。接不上，说明上下文管理有上限，你要在产品设计里规避——比如把关键信息显式显示在界面上，而不是指望它记住。

这三关背后的工程现实

把三关放在一起看，你会发现数字人的难点不在「生成」，而在系统工程：

• 延迟靠的是全链路优化，不是单点提速
• 同步靠的是语音和视觉的联合驱动，不是先出声音再配口型
• 记忆靠的是上下文管理策略，不是无限拉长窗口

这也解释了为什么很多演示很惊艳、上线就翻车：演示是精心挑选的单点，真实使用是连续的系统压力。

现在的定位：短时交互

官方给出的连续交互时长是几分钟。这个数字很重要。

它意味着现在这套能力适合的场景是：接待、导览、答疑、简单业务办理——对话短、流程固定、目标明确。

不适合的是：几十分钟的陪伴、完整的一节课、需要长期记忆的连续服务。如果你的场景超过几分钟，就要设计分段方案，而不是硬扛。

关于「边看边说」

现在的数字人可以同时接收声音和画面：你把物品展示给摄像头，它能把视觉线索和语音问题放在一起理解。

有个很说明问题的例子：用户抱着猫问怎么让它在办公室待得舒服，它先给了猫窝和休息建议，随后注意到桌上的绿萝，主动提醒要把植物移到猫够不到的地方——这是问题之外的环境线索。

这个能力有价值，但要清醒：这是演示，不是对识别准确率的独立测试。真实环境里光线、角度、遮挡都会影响表现。

关于后台调用

还有一项能力是异步工具调用：对话过程中它可以在后台查东西，等待时继续和你说话，不用让你干等。

但有一条必须划清的界限：视频里说「已经办好了」，不等于你的系统里真的有记录。业务结果由你自己接入的接口返回。演示里的流畅对话，不能证明系统集成已完成。

所以落地时你要问的不是「演示里能做到吗」，而是「我接了哪些接口、赋予了哪些权限、失败时怎么兜底」。

形象与声音：不能碰的红线

技术上可以复刻任何人的脸和声音，但合规上有硬边界：

• 使用真人形象（员工、模特、代言人）必须取得书面授权
• 声音克隆必须本人授权
• 涉及医疗、金融等需资质的内容，不能用数字人冒充专业人士
• 按平台要求做 AI 标识，不冒充真人

技术上能做到，不等于你可以做。 这几条一旦出问题，代价远超项目收益。

上业务前的验收清单

别被演示说服，用这张清单验：

1. 端到端延迟实测多少（p75，真实网络）

2. 用户中途插话，它能不能停下来

3. 三类情绪内容的表情是否有区别

4. 五轮对话后，第三轮的信息还记不记得

5. 后台查询失败时它怎么说（会不会装作成功）

6. 形象和声音的授权文件是否齐全

7. 并发上来之后延迟是否劣化

最后一句

数字人的竞争点正在转移：上半年比画面真不真，接下来比的是延迟、集成深度和合规完备度。

这三件事都不性感，但决定了它能不能真的上线。看演示时看脸，做决策时看这三关。