iPAS AI 應用規劃師初級 115 年第一次 科二 第 17 題 詳解

115 年第一次 科二 生成式 AI 應用與規劃

某企業提供大型語言模型（LLM）API服務，需支援高併發請求與流量波動，同時要求服務不中斷並具備故障容忍能力。若以高可用性與可擴展性為主要設計原則，下列哪一種部署方式較為適當？

1. A採用單一高效能虛擬機（VM）集中部署，以提升資源使用效率

   單機集中部署有單點故障風險，也無法隨流量擴充。

2. B建立多個模型服務實例並透過負載分散機制提供服務（正確答案）

   多實例加負載平衡，可水平擴展並容忍單點失效。

3. C將推論任務改由用戶端設備分擔，以降低伺服器負載壓力

   端側推論受裝置算力限制，且未解決服務端可用性。

4. D使用FTP協議傳輸請求與回應，以減少服務通訊負擔

   FTP為檔案傳輸協定，不適用於即時API通訊。