模擬語言模型呼叫 - Clean Architecture in TypeScript
因為 LLM 的不確定性,再加上大多數服務都會採取呼叫 API 的方式來使用,我們很難在測試中直接呼叫,比較好的做法是將 LLM 呼叫使用 Mock 方式處理。
如果要測試 LLM 的表現,則會使用 Evaluation(評估)的方式,並不在這系列討論的範圍中
Pager 3
因為 LLM 的不確定性,再加上大多數服務都會採取呼叫 API 的方式來使用,我們很難在測試中直接呼叫,比較好的做法是將 LLM 呼叫使用 Mock 方式處理。
如果要測試 LLM 的表現,則會使用 Evaluation(評估)的方式,並不在這系列討論的範圍中