同一個閘道器,不同協議:哪些能力真的能用?
在引數被協議轉換影響之前,用一套簡單的方法檢查模型和介面的相容性。

從任務出發,不要只看協議名稱
兩個介面都能處理對話,並不代表它們的行為完全一樣:有的應用只需要文字,有的還依賴圖片、結構化輸出或工具呼叫。先列出請求和響應中不能丟失的能力,再選擇同時支援這些能力的模型與介面。相容某種介面格式,不代表每個模型都實現了其中所有欄位。
介面名稱相似,通常只說明部分請求和響應的結構接近,並不代表所有模型都理解相同引數。溫度、輸出長度、結構化格式、影象輸入和工具定義,都可能存在不同限制。模型提供方、閘道器和客戶端庫也可能分別做校驗或轉換。選型時應把“介面可呼叫”和“業務所需能力可用”分成兩項測試。
做一張小型相容表
為計劃使用的每組模型和介面記錄輸入型別、流式輸出、工具呼叫、輸出格式和重要限制。每一項關鍵能力都傳送一次最小請求。如果產品依賴某個欄位,而模型不支援它,就應在上線前解決;普通文字請求成功,並不能證明圖片或工具也能用。
同一個模型的普通文字請求成功,不足以證明流式輸出、工具呼叫和圖片輸入都可用。分別測試流事件的結束標記、工具名稱與引數格式、圖片所用的輸入方式,以及錯誤時返回的資訊。不要把某一提供方的欄位直接當作所有介面的標準;具體模型和端點以其當前文件與實際測試為準。
儲存一套小而有代表性的樣本:普通文字、引數邊界、流式中斷、工具呼叫和必要的多模態輸入。每次更換模型、升級客戶端或調整閘道器後執行一次,並比較輸出結構而不只看狀態碼。測試資料要去除金鑰和客戶內容。發現差異時記錄影響範圍和回退方案,再決定是否推廣到生產環境。
一條有用的記錄至少包括模型版本、請求介面、測試輸入類別、預期結果、實際結果和測試日期。不要只寫“相容”或“不相容”,因為同一組合可能支援文字卻不支援某種圖片輸入。對尚未測試的欄位保持未知狀態,並在依賴它的功能上線前補測。
協定轉接器可以連接介面,但部分能力未必能夠轉換。檢查請求與響應的兩端
在測試中保留脫敏後的請求和響應樣本,觀察可選欄位是被拒絕、忽略還是轉換,以及響應是否包含應用需要的資訊。不要把真實金鑰、私人提示詞或客戶內容放進公開測試資料。模型版本或服務方發生變化時,重新執行這些檢查。
對每一個業務依賴的引數,記錄它是被接受並生效、被明確拒絕、被忽略,還是在轉換後改變含義。測試時同時檢查請求與響應,尤其注意欄位缺失與顯式零值或 false 的區別。不要因為伺服器返回成功就認定引數生效;可以設計能觀察差異的輸入,並將脫敏後的結果放入迴歸測試。
提前決定能力缺失時怎麼辦
有些差異可以由應用處理,例如模型不支援某功能時禁用相應控制元件;有些則需要更換模型或介面。遇到無法滿足的請求時,給出清楚的錯誤提示,避免悄悄丟掉使用者指令。把模型文件連結和測試結果放在相容表旁邊,方便團隊維護。
如果一個引數尚未驗證,不要在內部表格裡直接寫“支援”。可以標為待測試,並記錄測試日期、模型 ID、介面、結果與限制。對於暫時無法轉換的能力,產品上可以禁用對應選項、提供清晰提示,或引導使用者選擇另一模型。對於會影響結果的差異,應優先顯式報錯,避免使用者誤以為指令已被執行。
同一個欄位,也要看它的含義
協議相容並不是把請求中的欄位換一個名字就結束了。一個介面可能把訊息內容表示為字串,另一個介面可能允許由文字、圖片和其他內容塊組成的陣列。系統指令、工具定義和模型返回的結束原因也可能採用不同結構。即使轉換後請求被接受,應用依賴的語義仍可能發生變化。
先區分三種狀態:欄位不存在、欄位存在但為空,以及欄位明確設定為零或 false。它們可能分別表示使用預設值、傳遞空內容和關閉某個功能。測試時保留這些區別,並檢查從客戶端傳送到最終響應的完整鏈路。不要依賴介面上看起來相似的名稱判斷兩個引數完全等價。
對於無法表達的功能,要事先確定處理方式。可以明確返回不支援、在使用者確認後關閉功能,或引導使用者選擇其他組合;如果悄悄丟棄圖片、工具或輸出約束,使用者可能會把不完整結果當成成功。這類差異比一次清楚的錯誤更難排查。
流式與工具呼叫分別驗證
流式響應需要檢查的不只是第一段文字。確認客戶端如何識別事件邊界、增量內容、結束事件和錯誤;中途斷開時,已展示的文字是否會被誤認為完整答案。不同協議可能把工具呼叫拆成多次增量,應用必須根據實際格式組裝完整引數,再進行校驗和執行。
工具呼叫還涉及名稱、引數和結果的往返。模型提出呼叫並不等於工具已經執行;應用需要驗證引數、檢查使用者許可權、處理工具失敗,再按當前協議返回結果。用一個只讀工具先測試正常輸入、缺少欄位和無效值,可以比一開始接入多個有副作用的工具更容易發現轉換問題。
如果應用依賴結構化輸出,也要分別檢查模型是否理解約束、介面是否接受相關欄位,以及應用能否在輸出不符合要求時安全處理。某次返回了合法 JSON 只是一個樣本,不足以證明所有請求都滿足模式;測試集需要覆蓋空值、邊界值和意外格式。
維護一份會更新的相容記錄
可以把每個組合記錄成一行:模型 ID 與版本、接入協議、輸入型別、流式、工具、結構化輸出、驗證日期和測試結果。對每項能力記錄“透過、失敗、未測試”及復現條件,不必試圖用一個籠統的勾號覆蓋所有引數。測試資料儘量小而有代表性,禁止包含真實金鑰或客戶內容。
例如一個客服應用需要文字問答和訂單查詢。先驗證普通問答,再驗證工具引數是否完整,接著讓工具返回一條脫敏的模擬訂單,檢查最終答覆是否正確引用結果。然後測試無許可權、工具超時和引數缺失。換模型或換協議後重跑同樣的測試,差異會更容易定位。
當提供方更新模型、客戶端升級或閘道器轉換邏輯改變時,重新驗證受影響組合,並保留之前的記錄以便比較。對重要能力設定明確的回退方案:是暫停對應功能、提示使用者重試,還是切換到已經驗證過的模型。具體選擇取決於產品對準確性、成本和延遲的要求。
相容記錄還應註明測試使用的客戶端版本與閘道器配置。同一個模型在不同呼叫路徑下可能表現不同,因此復現問題時,要同時提供請求路徑和脫敏後的關鍵欄位,而不只是模型名稱。
舉個具體例子
假設一個客服助手需要回答文字問題,還要呼叫客戶資料查詢工具。可以先給每個候選模型同一個問題,再分別測試有效查詢和格式錯誤的引數。記錄模型是否提出呼叫、伺服器是否拒絕錯誤輸入、最終回答是否正確使用返回資料。以後增加圖片輸入時,還要單獨測試這一能力,不能因為文字可用就預設圖片也可用。