iPAS AI 應用規劃師初級 115 年第一次 科二 第 2 題 詳解

115 年第一次 科二 生成式 AI 應用與規劃

在進行大型語言模型(LLM)企業專屬知識的Fine-tuning時，若內部GPU運算資源與記憶體嚴重受限，下列哪一種參數高效微調（PEFT, Parameter Efficient Fine-Tuning）技術最能在維持模型效能的前提下，顯著降低需更新的參數數量？

1. A知識蒸餾（Knowledge Distillation）

   知識蒸餾是訓練小模型模仿大模型，屬模型壓縮。

2. B提示詞工程（Prompt Engineering）

   提示詞工程不更新任何權重，不算微調。

3. C梯度凍結（Gradient Freezing）

   凍結部分層雖省資源，但仍靠原有參數，效能與彈性有限。

4. D低秩適配（Low-Rank Adaptation）（正確答案）

   以低秩矩陣旁掛學習，僅更新極少參數即可保效能。