iPAS AI 應用規劃師初級 115 年第三次 科二 第 44 題 詳解

115 年第三次 科二 生成式 AI 應用與規劃

某企業將生成式AI導入內部知識問答系統，並建立強化學習從人類回饋（Reinforcement Learning from Human Feedback, RLHF）機制，定期依員工對AI生成答案的「按讚／按噓」評分作為後續微調模型的依據。系統上線半年後，資料分析部門發現，僅約8%員工會主動評分，且多數評分者集中於資訊部門，其他部門員工鮮少提供回饋。技術團隊對此現象應有的正確認知為何？

1. A生成式AI的回答主要受預訓練模型影響，因此RLHF回饋資料分布不均，通常不會明顯影響模型後續的回覆品質

   微調確實會改變輸出，不能推給預訓練模型。

2. BRLHF建立的獎勵模型（Reward Model）具有泛化能力，因此資訊部門的評分結果通常也能代表其他部門的需求

   獎勵模型只學到它看過的偏好，泛化不等於代表全體。

3. C若資訊部門為AI系統的主要使用者，其回饋即可作為模型最佳化的主要依據，不必再蒐集其他部門的意見

   以主要使用者為由放棄其他樣本，等於固化偏差。

4. D回饋資料可能存在選擇性偏差，使模型逐漸偏向資訊部門的需求與用語習慣，因此應擴大不同部門的回饋樣本（正確答案）

   正解：指出選擇性偏差並主張擴大回饋來源。