iPAS AI 應用規劃師初級 114 年第四次 科一 第 28 題 詳解

114 年第四次 科一 人工智慧基礎概論

對非常長的輸入序列進行推理（Inference），Transformer模型推理的主要計算瓶頸通常是什麼？

1. A模型輸出層產生文本的過程，因為每生成一個詞都必須重新訓練整個模型一次

   推理不會重新訓練模型，敘述本身違反基本流程。

2. B詞嵌入(Embedding)查找操作，因為其時間複雜度隨詞彙表大小指數級增長

   詞嵌入只是查表，成本固定且極低。

3. CSoftmax函數的計算，因為對每個Token都需要執行繁重的運算

   Softmax對每個Token是線性成本，非主要瓶頸。

4. D自注意力層的計算和其記憶體使用，因為注意力矩陣的大小隨序列長度呈平方級增長（正確答案）

   注意力矩陣為序列長度的平方，記憶體與算力同時爆增。