Xây dựng phản hồi AI streaming đáng tin cậy
Xử lý câu trả lời chưa hoàn chỉnh, kết nối bị ngắt và lỗi để người dùng hiểu chuyện gì đang xảy ra.

Vì sao những từ đầu tiên quan trọng
Một màn hình trống trong vài giây dễ khiến người dùng nghĩ rằng yêu cầu chưa được gửi. Streaming hiển thị nội dung khi nội dung đến và giúp việc chờ đợi dễ chịu hơn. Nó không nhất thiết làm tổng thời gian ngắn hơn và phụ thuộc vào mô hình cùng endpoint được chọn.
Những từ đầu tiên xuất hiện sớm cho người dùng biết yêu cầu đang chạy, nhưng câu trả lời đầy đủ vẫn có thể cần thời gian. Đo riêng thời gian đến đoạn đầu, thời gian hoàn tất và số lần gián đoạn. Câu trả lời ngắn có thể ít hưởng lợi; câu dài có thể khiến việc chờ bớt mơ hồ. Hãy đo trong chính luồng sử dụng của bạn.
Xem câu trả lời là một chuỗi sự kiện
Đọc sự kiện theo tài liệu, thêm văn bản đúng thứ tự và cho biết hệ thống đang tạo nội dung. Một mảnh dữ liệu mạng có thể chỉ chứa một phần sự kiện hoặc từ, nên cần đệm dữ liệu trước khi phân tích. Cho phép người dùng dừng và phân biệt hủy với kết thúc bình thường.
Khi endpoint dùng server-sent events, thông điệp có định dạng riêng nhưng một lần đọc mạng có thể chia một sự kiện hoặc gộp nhiều sự kiện. Đệm dữ liệu đến khi đủ sự kiện; xử lý dòng trống, tín hiệu giữ kết nối và dấu hoàn tất được tài liệu mô tả. Đừng phân tích mỗi mảnh như một đối tượng JSON hoàn chỉnh.
Phản hồi đến dưới dạng chuỗi sự kiện và có thể bị gián đoạn.Nếu kết nối bị ngắt giữa chừng
Luồng có thể đã có văn bản nhưng chưa có dấu kết thúc hay thông tin sử dụng cuối cùng. Giữ phần đã hiển thị và thông báo rằng câu trả lời chưa hoàn chỉnh. Thử lại có thể tạo phản hồi mới và phát sinh thêm chi phí, vì vậy đừng âm thầm chạy lại tác vụ đắt tiền.
Hiển thị rõ đang tạo và nút dừng có thể sử dụng. Hủy, mất kết nối và hoàn tất cần thông báo khác nhau. Khi lỗi, giữ văn bản đã hiện và đánh dấu có thể chưa đầy đủ. Với trình đọc màn hình, tránh thông báo ngắt quãng cho từng ký tự; cập nhật theo đoạn hợp lý và giữ khả năng dùng bàn phím.
Một số luồng chỉ gửi trạng thái cuối hoặc mức sử dụng khi kết thúc; mất kết nối có thể làm thiếu dữ liệu đó. Ghi riêng “đã hiển thị văn bản” và “đã xác nhận hoàn tất”. Nếu người dùng tạo lại, giải thích có thể phát sinh yêu cầu và mức sử dụng mới, đồng thời không ghép lẫn đoạn của hai lần thử.
Kiểm thử cả tình huống không thuận lợi
Thử mạng chậm, sự kiện đầu trống, ngắt giữa chừng, hủy và lỗi từ nhà cung cấp. Kiểm tra bàn phím và trình đọc màn hình khi văn bản cập nhật. Đo riêng thời gian đến nội dung đầu tiên và thời gian hoàn tất; xem tài liệu trước khi dựa vào trường riêng của streaming.
Nếu máy chủ đã gửi nội dung mà trình duyệt vẫn chờ lâu, hãy kiểm tra ứng dụng, proxy ngược và mạng trung gian về việc đệm phản hồi hoặc hết thời gian kết nối. So sánh thời điểm máy chủ bắt đầu gửi với thời điểm trình duyệt bắt đầu nhận. Không tắt các biện pháp bảo mật không liên quan chỉ để chữ hiện sớm hơn.
Theo dõi luồng từ lúc kết nối đến khi hoàn tất
Một lần đọc mạng không nhất thiết tương ứng với một sự kiện hoàn chỉnh: dữ liệu có thể bị chia nhỏ hoặc gộp lại. Hãy phân tích luồng theo giao thức, phân biệt phần nội dung, lỗi và tín hiệu kết thúc.
Hiển thị văn bản từng phần nhưng giữ trạng thái đang tạo cho tới khi xác nhận hoàn tất. Kiểm tra cả đường truyền triển khai thực tế vì một lớp trung gian có thể đệm toàn bộ phản hồi. Cung cấp nút dừng có thể sử dụng bằng bàn phím.
Xử lý gián đoạn trước khi thử lại
Phân biệt chưa có nội dung, đã có một phần và đã kết thúc. Khi kết nối bị ngắt, giữ lại phần đã nhận và cho người dùng biết câu trả lời chưa hoàn chỉnh, thay vì âm thầm thay bằng kết quả khác.
Thử lại có thể tạo một lượt sinh mới và phát sinh chi phí; công cụ liên quan cũng có thể đã chạy. Chỉ tự động khôi phục khi API và ứng dụng có cách an toàn. Kết nối đóng không chứng minh tác vụ từ xa đã dừng.
Đo trải nghiệm thực tế thay vì chỉ xem bản demo
Đo riêng thời gian tới nội dung đầu tiên và thời gian hoàn tất, cùng tỷ lệ gián đoạn và hủy. Chữ xuất hiện nhanh không đủ nếu trang liên tục nhảy hoặc không cho biết khi nào hoàn thành.
Thử câu trả lời ngắn, dài, mạng chậm, mất kết nối, rời trang và lệnh gọi công cụ. Kiểm tra nội dung không bị lặp và nhật ký không vô tình chứa khóa hay lời nhắc riêng tư.
Một bài thử ngắt kết nối
Trong môi trường kiểm thử, bắt đầu phản hồi rồi ngắt kết nối sau vài sự kiện đầu. Trang cần giữ văn bản đã hiển thị, dừng chỉ báo tải và đưa ra bước tiếp theo rõ ràng. Kiểm tra thêm một sự kiện bị chia thành nhiều mảnh mạng. Đừng tự suy ra việc hoàn tất hay mức sử dụng cuối nếu endpoint chưa gửi thông tin đó.
Điện thoại có thể đổi mạng, khóa màn hình hoặc chạy nền. Trong môi trường thử, hãy đổi mạng hoặc ngắt kết nối và kiểm tra giao diện ngừng chờ, giữ chữ đã hiện và cho phép thao tác tiếp. Kết nối lại không tự đảm bảo tiếp tục đúng vị trí; chỉ thiết kế khả năng đó khi endpoint ghi rõ hỗ trợ.