iPAS AI 應用規劃師初級 115 年第三次 科二 第 19 題 詳解

115 年第三次 科二 生成式 AI 應用與規劃

某保險公司導入兩種大型語言模型：第一種回應速度快、成本較低；第二種推理能力較強，但運算成本較高。為了兼顧回覆品質與整體營運成本，技術團隊希望系統自動判斷每次使用者請求應由哪一個模型處理。下列哪一種架構設計最能達成此需求？

1. A負載平衡（Load Balancing），依據各模型伺服器目前的運算負載與網路流量分配請求

   負載平衡看伺服器負載，不看問題難易，無法兼顧品質。

2. B規則式分流（Rule-based Routing），依預先設定的固定條件（例如關鍵字或問題類別）將請求分派至指定模型

   規則式分流靠固定條件，遇到新型問題難以彈性判斷。

3. C提示詞工程（Prompt Engineering），透過系統提示詞要求使用者先選擇問題類型，再依選擇結果決定使用的模型

   把選擇丟給使用者，非系統自動判斷。

4. D模型路由（Model Routing），先讓模型判斷問題特性，再將請求分派至適合的模型處理（正確答案）

   由系統判讀問題特性後動態指派模型，正解。