讓 AI 流式回答更可靠,而不只是更快出現
處理好部分輸出、連線中斷和錯誤,讓長回答在真實網路環境中也有清晰反饋。

第一段文字出現之前,使用者在等待什麼
模型需要幾秒鐘回答時,空白介面很容易讓人懷疑請求是否發出。流式輸出可以在內容到達時逐步展示,改善等待感受;但它不等於縮短模型的總完成時間,也不是每個模型和介面都支援。
首段文字儘快出現,可以讓使用者知道請求正在進行;但模型生成完整答案仍需要時間。應分別觀察請求發出到第一段內容的時間、最後一段完成的時間,以及中途失敗的情況。對於很短的回答,流式帶來的收益可能有限;對於較長回答,它通常更能減少等待的不確定感。具體收益仍應透過自己的場景測量。
把回答看成一系列事件
按照介面文件讀取並解析事件,按順序追加文字,同時明確顯示正在生成。網路分片不一定剛好是完整事件,也不一定剛好是完整文字;解析前需要快取不完整的資料。允許使用者停止生成,並區分主動取消和正常結束。
如果介面使用伺服器傳送事件,訊息會按協議格式分隔,而底層網路讀取可能把一條訊息拆成多段,也可能一次拿到多條訊息。解析器應先緩衝並識別完整事件,再處理其中的資料;還要考慮空行、心跳和結束標記。不要把每一次網路讀取直接當作一條完整 JSON。實際事件格式仍要以所用介面的文件為準。
回應以連續事件逐步到達,也可能在途中中斷。連線提前中斷時怎麼辦
中斷的響應可能已有部分文字,卻沒有最終用量或完成標記。保留使用者已經看到的內容,並說明回答中斷,不要把它展示成完整結果。重試可能產生新的回答和額外用量,因此應讓使用者明確選擇,避免自動重複昂貴任務。
生成過程中顯示清晰的進行狀態,並提供使用者能夠操作的停止入口。取消、網路中斷和正常完成應有不同反饋;中斷時保留已顯示的內容,並標註它可能不完整。對於使用螢幕閱讀器的人,避免讓每一個字元都觸發一條打斷式播報,可以按較合理的片段更新,同時保留鍵盤可訪問性。
有些流在結尾才報告最終狀態或使用量;連線提前斷開時,這些資訊可能缺失。把“已經展示的文字”和“任務確認完成”分別記錄,不要根據介面上有文字就推斷整次呼叫成功。若使用者選擇重新生成,說明可能產生新請求和額外用量,並避免將舊答案與新答案的片段錯誤拼接。
別隻測試順利完成的情況
分別測試慢網路、首個事件為空、中途斷開、使用者取消和服務方報錯。檢查文字持續更新時鍵盤與螢幕閱讀器是否可用。將首段輸出時間和全部完成時間分開觀察;依賴流式專屬欄位之前,先檢視當前模型文件。
如果服務端已經生成內容,瀏覽器卻長時間看不到更新,問題不一定在模型。檢查應用伺服器、反向代理和中間網路是否緩衝了響應,以及連線超時設定是否適合當前任務。排查時分別觀察服務端開始傳送和瀏覽器開始接收的時間。不要為了追求即時顯示而關閉與任務無關的安全控制。
理解從連線到結束的過程
流式介面通常會在一個連線上逐步返回事件,但應用不能假設每次網路讀取恰好對應一個完整事件。資料可能被拆成幾段到達,也可能在一次讀取中包含多個事件。客戶端需要使用符合所選協議的解析方式,快取尚未完整的部分,並區分內容增量、狀態變化和結束訊號。
前端收到增量後可以逐步更新可見文字,讓使用者知道請求仍在進行。與此同時,頁面應保留一個明確的生成中狀態,直到確認結束。不要在第一段文字出現時就把請求標成成功;如果連線意外中斷,已經顯示的內容可能只是未完成的部分。
服務端還要考慮代理、超時和連線關閉對流的影響。如果中間層緩衝了所有資料,使用者可能最後一次性看到結果,流式體驗就失去了意義。測試時應透過真實部署路徑觀察,而不只是在開發機器上驗證客戶端程式碼。
中斷後不急著重新生成
先判斷使用者看到的是什麼:還沒有任何內容、收到了一部分、還是已經收到了明確的結束事件。若只收到部分回答,可以保留內容並提示“生成中斷”,讓使用者決定下一步;不要靜默替換成另一段回答。複製、儲存或提交結果前,也要讓使用者能識別內容是否完整。
自動重試要格外謹慎。請求可能已經在遠端執行,重新傳送可能產生新的結果和費用;如果模型在響應中建議過工具呼叫,更不能在不瞭解執行狀態的情況下重複執行工具。只有在介面支援且應用能夠確認安全時,才考慮自動恢復,否則向使用者提供清楚的重試入口。
使用者主動取消和網路異常也不是同一種情況。取消時停止本地渲染,並按介面實際支援的方式處理遠端任務;網路斷開時不要聲稱遠端一定已經停止。記錄請求標識、開始和結束狀態,以及脫敏錯誤,有助於之後判斷問題發生在哪一層。
用體驗指標代替主觀猜測
至少分別觀察開始到第一段內容出現的時間,以及整個回答完成的時間。前者影響使用者是否覺得系統有反應,後者關係到完整任務需要等待多久。再記錄中斷、取消和錯誤的比例,才能看出某次最佳化是否真的改善了體驗。不要把某個示例裡的數字寫成所有模型的承諾。
做一組可重複的測試:短回答、長回答、慢網路、主動斷網、頁面離開,以及包含工具呼叫的響應。確認狀態提示清楚、內容不會重複拼接,鍵盤使用者也能停止生成。測試過程中避免使用真實客戶資料,並檢查日誌沒有意外儲存完整提示詞或金鑰。
如果第一段出現很快,但頁面頻繁跳動、無法滾動或最終沒有結束提示,使用者體驗仍然可能不好。可以適當合併介面更新、保持閱讀位置,並提供取消操作;最佳化時要兼顧可訪問性與低效能裝置,而不是隻追求演示效果。
如果產品允許使用者繼續編輯已生成內容,要在取消或中斷時保留當前草稿。恢復連線後避免把同一段內容重複追加;若無法確認重複邊界,應讓使用者選擇重新生成,而不是假裝內容已經無縫續接。
做一次中斷測試
在測試環境啟動回答,收到前幾個事件後主動斷開連線。頁面應保留已顯示的文字、停止載入狀態,並給出清楚的下一步。再檢查解析器能否處理一個事件被拆成多個網路分片的情況。如果介面沒有發出完成資訊或最終用量,就不要自行推斷任務已完整結束。
移動裝置可能在網路切換、鎖屏或後臺執行時中斷連線。測試時可以切換網路或手動終止連線,觀察介面是否停止等待、保留已展示內容並允許使用者重新操作。恢復連線並不等於一定能從原位置繼續;只有介面明確支援恢復時,才能設計相應行為。