iPAS AI 應用規劃師初級 115 年第一次 科一 第 25 題 詳解

115 年第一次 科一 人工智慧基礎概論 · 考點:鑑別式AI與生成式AI的整合應用

在大型語言模型(LLM)的推論服務中,常透過請求批次處理(Batching)來提升系統效能。關於批次處理(Batching)機制的影響,下列敘述何者最正確?

  1. ABatching可提升加速器資源使用效率並增加整體吞吐量(Throughput),但在部分情境下可能對單筆請求延遲造成影響(正確答案)

    正確:提高加速器利用率換取吞吐量,代價是單筆延遲可能變長。

  2. BBatching主要用於加快單筆請求回應時間

    錯:批次是提升整體吞吐,不是縮短單筆回應時間。

  3. CBatching的效益主要來自降低記憶體使用量,對於吞吐量(Throughput)與延遲表現影響有限

    錯:效益來自運算資源共用,不是降低記憶體用量。

  4. DBatching在低併發(Concurrency)請求下,仍能明顯提升系統效能

    錯:低併發時湊不滿批次,效益有限甚至因等待而變慢。

正確答案:A

考批次處理對推論吞吐量與單筆延遲的權衡關係。 看到效能類敘述,先確認它是否同時交代「增益」與「代價」,只講單邊多半是陷阱。

用刷8題準備 iPAS AI 應用規劃師初級

每天隨手刷 8 題,答錯的題目會自動排回來再考一次。不用註冊,打開就能開始。

開始刷題

鑑別式AI與生成式AI的整合應用

  1. 115 年第一次 科一 第 27 題SHAP(SHapley Additive exPlanations)值常用於分析機器學習模型的輸出行為。下列何者最符合…
  2. 114 年第四次 科一 第 27 題在大型Transformer模型的效能優化過程中,常見的方法之一是「剪枝(Pruning)」。下列哪一項最符合該方法的核…
  3. 114 年第四次 科一 第 30 題在醫療診斷決策支援系統等高風險領域中,「可解釋人工智慧(Explainable AI, XAI)」的核心價值最主要呈現在…
  4. 114 年第四次 科一 第 38 題某公司建置基於檢索增強生成(RAG)的知識查詢系統,需同時兼顧查詢效能與資料的即時更新。近期發現回應內容偶爾過時,且每次…
  5. 114 年第四次 科一 第 49 題下列何者並非我國數位發展部AI產品與評測中心在評估大型語言模型安全性時,所指出的常見使用指標?