iPAS AI 應用規劃師初級 115 年第二次 科二 第 15 題 詳解

115 年第二次 科二 生成式 AI 應用與規劃

某新創公司希望針對特定醫療診斷任務微調語言模型，但受限於資料取得困難，目前僅收集到少量已標註的診斷病例。在標註資料極為有限的條件下，強化微調（Reinforcement Fine-Tuning, RFT）相較於監督式微調（Supervised Fine-Tuning, SFT)）最主要的優勢為何？

1. ARFT需仰賴大量高品質標註資料進行訓練，因此在資料有限時仍能維持較佳穩定性

   把RFT說成依賴大量標註，方向完全相反。

2. BRFT透過獎懲回饋機制引導模型優化，對大量標註資料的依賴相對較低，較適用於資料有限的情境（正確答案）

   獎勵回饋取代逐筆標註，正是資料稀少時的優勢。

3. CRFT與SFT在資料需求上本質相同，主要差異僅在訓練效率，資料量不影響兩者適用性

   兩者資料需求本質不同，非僅效率差異。

4. DRFT可直接從未標註的診斷資料中自動產生正確標註，因此在資料有限時可完全取代SFT

   RFT不會自動產生正確標註，也無法取代SFT。