让 AI 流式回答更可靠,而不只是更快出现
处理好部分输出、连接中断和错误,让长回答在真实网络环境中也有清晰反馈。

第一段文字出现之前,用户在等待什么
模型需要几秒钟回答时,空白界面很容易让人怀疑请求是否发出。流式输出可以在内容到达时逐步展示,改善等待感受;但它不等于缩短模型的总完成时间,也不是每个模型和接口都支持。
首段文字尽快出现,可以让用户知道请求正在进行;但模型生成完整答案仍需要时间。应分别观察请求发出到第一段内容的时间、最后一段完成的时间,以及中途失败的情况。对于很短的回答,流式带来的收益可能有限;对于较长回答,它通常更能减少等待的不确定感。具体收益仍应通过自己的场景测量。
把回答看成一系列事件
按照接口文档读取并解析事件,按顺序追加文字,同时明确显示正在生成。网络分片不一定刚好是完整事件,也不一定刚好是完整文字;解析前需要缓存不完整的数据。允许用户停止生成,并区分主动取消和正常结束。
如果接口使用服务器发送事件,消息会按协议格式分隔,而底层网络读取可能把一条消息拆成多段,也可能一次拿到多条消息。解析器应先缓冲并识别完整事件,再处理其中的数据;还要考虑空行、心跳和结束标记。不要把每一次网络读取直接当作一条完整 JSON。实际事件格式仍要以所用接口的文档为准。
响应以连续事件逐步到达,也可能在途中中断。连接提前中断时怎么办
中断的响应可能已有部分文字,却没有最终用量或完成标记。保留用户已经看到的内容,并说明回答中断,不要把它展示成完整结果。重试可能产生新的回答和额外用量,因此应让用户明确选择,避免自动重复昂贵任务。
生成过程中显示清晰的进行状态,并提供用户能够操作的停止入口。取消、网络中断和正常完成应有不同反馈;中断时保留已显示的内容,并标注它可能不完整。对于使用屏幕阅读器的人,避免让每一个字符都触发一条打断式播报,可以按较合理的片段更新,同时保留键盘可访问性。
有些流在结尾才报告最终状态或使用量;连接提前断开时,这些信息可能缺失。把“已经展示的文本”和“任务确认完成”分别记录,不要根据界面上有文字就推断整次调用成功。若用户选择重新生成,说明可能产生新请求和额外用量,并避免将旧答案与新答案的片段错误拼接。
别只测试顺利完成的情况
分别测试慢网络、首个事件为空、中途断开、用户取消和服务方报错。检查文本持续更新时键盘与屏幕阅读器是否可用。将首段输出时间和全部完成时间分开观察;依赖流式专属字段之前,先查看当前模型文档。
如果服务端已经生成内容,浏览器却长时间看不到更新,问题不一定在模型。检查应用服务器、反向代理和中间网络是否缓冲了响应,以及连接超时设置是否适合当前任务。排查时分别观察服务端开始发送和浏览器开始接收的时间。不要为了追求即时显示而关闭与任务无关的安全控制。
理解从连接到结束的过程
流式接口通常会在一个连接上逐步返回事件,但应用不能假设每次网络读取恰好对应一个完整事件。数据可能被拆成几段到达,也可能在一次读取中包含多个事件。客户端需要使用符合所选协议的解析方式,缓存尚未完整的部分,并区分内容增量、状态变化和结束信号。
前端收到增量后可以逐步更新可见文本,让用户知道请求仍在进行。与此同时,页面应保留一个明确的生成中状态,直到确认结束。不要在第一段文字出现时就把请求标成成功;如果连接意外中断,已经显示的内容可能只是未完成的部分。
服务端还要考虑代理、超时和连接关闭对流的影响。如果中间层缓冲了所有数据,用户可能最后一次性看到结果,流式体验就失去了意义。测试时应通过真实部署路径观察,而不只是在开发机器上验证客户端代码。
中断后不急着重新生成
先判断用户看到的是什么:还没有任何内容、收到了一部分、还是已经收到了明确的结束事件。若只收到部分回答,可以保留内容并提示“生成中断”,让用户决定下一步;不要静默替换成另一段回答。复制、保存或提交结果前,也要让用户能识别内容是否完整。
自动重试要格外谨慎。请求可能已经在远端执行,重新发送可能产生新的结果和费用;如果模型在响应中建议过工具调用,更不能在不了解执行状态的情况下重复执行工具。只有在接口支持且应用能够确认安全时,才考虑自动恢复,否则向用户提供清楚的重试入口。
用户主动取消和网络异常也不是同一种情况。取消时停止本地渲染,并按接口实际支持的方式处理远端任务;网络断开时不要声称远端一定已经停止。记录请求标识、开始和结束状态,以及脱敏错误,有助于之后判断问题发生在哪一层。
用体验指标代替主观猜测
至少分别观察开始到第一段内容出现的时间,以及整个回答完成的时间。前者影响用户是否觉得系统有反应,后者关系到完整任务需要等待多久。再记录中断、取消和错误的比例,才能看出某次优化是否真的改善了体验。不要把某个示例里的数字写成所有模型的承诺。
做一组可重复的测试:短回答、长回答、慢网络、主动断网、页面离开,以及包含工具调用的响应。确认状态提示清楚、内容不会重复拼接,键盘用户也能停止生成。测试过程中避免使用真实客户数据,并检查日志没有意外保存完整提示词或密钥。
如果第一段出现很快,但页面频繁跳动、无法滚动或最终没有结束提示,用户体验仍然可能不好。可以适当合并界面更新、保持阅读位置,并提供取消操作;优化时要兼顾可访问性与低性能设备,而不是只追求演示效果。
如果产品允许用户继续编辑已生成内容,要在取消或中断时保留当前草稿。恢复连接后避免把同一段内容重复追加;若无法确认重复边界,应让用户选择重新生成,而不是假装内容已经无缝续接。
做一次中断测试
在测试环境启动回答,收到前几个事件后主动断开连接。页面应保留已显示的文字、停止加载状态,并给出清楚的下一步。再检查解析器能否处理一个事件被拆成多个网络分片的情况。如果接口没有发出完成信息或最终用量,就不要自行推断任务已完整结束。
移动设备可能在网络切换、锁屏或后台运行时中断连接。测试时可以切换网络或手动终止连接,观察界面是否停止等待、保留已展示内容并允许用户重新操作。恢复连接并不等于一定能从原位置继续;只有接口明确支持恢复时,才能设计相应行为。