iPAS AI 應用規劃師初級 115 年第一次 科一 第 25 題 詳解

115 年第一次 科一 人工智慧基礎概論

在大型語言模型（LLM）的推論服務中，常透過請求批次處理（Batching）來提升系統效能。關於批次處理（Batching）機制的影響，下列敘述何者最正確？

1. ABatching可提升加速器資源使用效率並增加整體吞吐量（Throughput），但在部分情境下可能對單筆請求延遲造成影響（正確答案）

   正確：提高加速器利用率換取吞吐量，代價是單筆延遲可能變長。

2. BBatching主要用於加快單筆請求回應時間

   錯：批次是提升整體吞吐，不是縮短單筆回應時間。

3. CBatching的效益主要來自降低記憶體使用量，對於吞吐量（Throughput）與延遲表現影響有限

   錯：效益來自運算資源共用，不是降低記憶體用量。

4. DBatching在低併發（Concurrency）請求下，仍能明顯提升系統效能

   錯：低併發時湊不滿批次，效益有限甚至因等待而變慢。