iPAS AI 應用規劃師初級 114 年第四次 科一 第 50 題 詳解

114 年第四次 科一 人工智慧基礎概論

某雲端服務公司計畫將大型語言模型部署於線上系統，並以批次推論（Batch Inference）方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時，下列哪一項通常不會被視為批次推論階段的主要難題？

1. A如何確保訓練語料的涵蓋性與標註品質，以避免模型偏差影響輸出（正確答案）

   語料涵蓋性與標註品質屬訓練階段議題，非推論難題。

2. B當批次規模增大時，如何降低推論延遲並保持即時回應能力

   批次規模放大造成延遲，是推論階段核心挑戰。

3. C在推論過程中，有效管理與分配龐大的輸入資料量以避免資源壅塞

   大量輸入資料的調度與壅塞，屬推論資源管理。

4. D在叢集環境中精確安排推論任務，以提升GPU/TPU等硬體資源的利用率

   叢集中排程以提升GPU/TPU利用率，是推論效能重點。