iPAS AI 應用規劃師初級 115 年第一次 科一 第 41 題 詳解

115 年第一次 科一 人工智慧基礎概論

在大型語言模型（LLM）的效能優化中，Flash Attention常被用來改善Transformer注意力機制的運算效率。關於Flash Attention的主要效益，下列敘述何者最正確？

1. A透過忽略影響較小的注意力權重，減少模型需要計算的關聯數量，以降低運算成本

   忽略小權重屬稀疏注意力，會改變計算結果。

2. B透過調整注意力計算與資料處理方式，減少中間結果的儲存需求，進而改善速度與資源使用效率（正確答案）

   分塊計算並減少中間矩陣讀寫，正解。

3. C透過增加注意力計算的並行程度，使模型可同時處理更多注意力頭部

   多頭平行是原始架構本來就有的特性。

4. D透過將注意力結果暫存於高速快取記憶體，以避免重複計算造成延遲

   重點不是快取結果，而是不產生完整中間矩陣。