壊れにくい AI ストリーミング応答の作り方
途中までの出力、切断、エラーを扱い、待っている人に分かりやすく伝えます。

最初の文字が見えるまで
数秒間画面が空白だと、リクエストが届いたのか不安になります。ストリーミングは届いた内容を順に表示し、待ち時間の感じ方を改善します。ただし完了までの時間が必ず短くなるわけではなく、対応状況はモデルと API によります。
最初の文字が早く見えると、利用者は処理中だと分かります。ただし回答全体の完了には時間がかかる場合があります。最初の出力まで、全体の完了まで、中断の発生を別々に測定します。短い回答では効果が小さいこともあるため、自分の利用場面で確かめてください。
応答をイベントの列として扱う
ドキュメントに従ってイベントを読み、順番にテキストを追加し、生成中であることを表示します。ネットワークの分割位置はイベントや文字の区切りと一致しないことがあります。不完全なデータを一時保存してから解析し、停止操作と通常終了を区別しましょう。
サーバー送信イベントを使う場合、メッセージは決まった形式ですが、ネットワークの一回の読み取りで一つのイベントが分割されたり、複数がまとまったりします。完全なイベントになるまでバッファし、空行、接続維持、文書化された終了マーカーを扱います。読み取るたびに完全な JSON として解析しないでください。
応答はイベントとして順次届き、途中で途切れることもある。接続が途中で切れたら
途中の文章は届いても、完了マーカーや最終使用量が届かない場合があります。表示済みの文章は残し、未完了だと明記します。再試行は別の応答や追加利用を生む可能性があるため、高価な処理を無条件に自動再実行しないようにします。
生成中を明示し、操作しやすい停止ボタンを用意します。キャンセル、切断、正常終了は別の案内にします。障害時は表示済みの文章を残し、未完了の可能性を示します。スクリーンリーダーでは一文字ごとに割り込んで読み上げないよう、適切な単位で更新し、キーボード操作を保ちます。
最後に完了状態や使用量を通知するストリームでは、中断によってその情報が届かない場合があります。「文字を表示した」と「タスクが完了した」を別に記録します。再生成が新しい要求と追加使用量につながる可能性を説明し、古い回答と新しい回答の断片を混ぜないようにします。
正常系以外も試す
低速回線、空の最初のイベント、途中切断、キャンセル、提供元のエラーを試します。更新中のキーボード操作とスクリーンリーダーも確認しましょう。最初の出力までの時間と全体の完了時間は別に計測し、固有フィールドの利用前に仕様を確認します。
サーバーが内容を生成してもブラウザーに長く表示されない場合、アプリサーバー、リバースプロキシ、中間ネットワークのバッファや接続タイムアウトを確認します。サーバーの送信開始時刻とブラウザーの受信開始時刻を分けて調べます。表示を早めるために無関係な安全対策を無効にしてはいけません。
接続から終了までを一つの処理として扱う
ストリームでは複数のイベントが同じ接続で届きます。ネットワークから一度に読んだデータが必ず一つの完全なイベントになるとは限りません。途中までのデータを保持し、使用するプロトコルに従って境界、内容の増分、状態と終了を判定します。
画面は届いた内容を少しずつ表示できますが、終了イベントを確認するまでは生成中であることを示します。最初の文字が出ただけで成功と決めると、中断された回答を完成品として扱う危険があります。プロキシや中間サーバーが全データをまとめてしまわないか、本番に近い経路でも試します。
ユーザーが長文を読んでいる間、更新のたびに画面が大きく跳ねないことも大切です。必要に応じて更新をまとめ、キーボードでも停止できる操作を用意します。
途中で切れた回答をどう扱うか
何も届かなかった場合、一部が届いた場合、終了を確認した場合を区別します。途中までの回答は残し、生成が中断したことを示して次の操作をユーザーに選んでもらえます。保存やコピーの前にも、未完成であることが分かる表示が必要です。
再送すると遠端で新しい生成が始まり、別の結果や費用が生じる場合があります。ツール実行を伴う場合は、実行済みか不明な操作を勝手に繰り返さないでください。API とアプリが安全な再開方法を提供している場合に限って自動復旧を検討します。
ユーザーによる取消と通信障害も別に扱います。接続が切れただけで遠端処理が停止したとは限りません。草稿を残し、重複部分を正確に判定できない場合は、無理に継ぎ足さず再生成の選択肢を示します。
測定と中断テストを続ける
最初の内容が表示されるまでの時間と、回答全体が終わるまでの時間を分けて観察します。中断、キャンセル、エラーの割合も合わせると、改善が体感と完了率の両方に役立ったか判断できます。例示の数値をすべてのモデルへの保証にしないでください。
短文と長文、低速回線、途中切断、ページ離脱、ツールを含む応答を同じ手順で試します。内容の重複や終了表示を確認し、実際の顧客情報をテストに使わず、ログにキーや会話全文が出ていないことも確認します。
最初の表示だけ速くても、画面が読みにくく、停止できず、完了が分からなければ良い体験とは言えません。端末の性能や支援技術を使う人も含め、実際の読みやすさを基準に調整しましょう。
途中切断のテスト
テスト環境で回答を開始し、最初の数イベントの後に接続を切ります。画面には表示済みの文章を残し、読み込み表示を止め、次の操作を明示します。一つのイベントが複数のネットワーク片に分かれる場合も確認してください。完了情報や最終使用量が届いていなければ、推測で補ってはいけません。
端末が回線を切り替えたり、画面をロックしたり、バックグラウンドに移ると接続が途切れることがあります。テスト環境で切断し、待機が止まり、表示済みの文章が残り、利用者が次の操作を選べるか確認します。再接続だけで元の位置から再開できるとは限らず、エンドポイントが明記する場合に設計します。