iPAS AI 應用規劃師初級 115 年第二次 科一 第 44 題 詳解

115 年第二次 科一 人工智慧基礎概論

某金融集團評估將大型語言模型導入客服與風控系統，團隊採用如120B參數等級的超大型語言模型以確保回應品質。請問下列何者最能說明企業在正式環境部署超大型語言模型時，最需要優先考量的因素？

1. A模型參數量龐大，導致每次輸出結果差異極大，難以符合金融業對回應一致性的要求

   輸出差異可由溫度等參數控制，非參數量必然結果。

2. B超大型模型無法支援批次處理，在高併發的客服場景下將造成嚴重的服務瓶頸

   批次處理（batching）正是大模型常用的吞吐優化手段。

3. C推理延遲較高且運算資源消耗龐大，每次請求成本遠高於小型模型，需在模型效能與營運成本之間審慎權衡（正確答案）

   點出延遲、算力與成本的權衡，符合部署實務。

4. D模型會依任務複雜度自動調整運算資源配置，因此不需特別考量推理成本

   模型不會自動調配資源，推理成本必須事先規劃。