iPAS AI 應用規劃師初級 115 年第三次 科二 第 23 題 詳解

115 年第三次 科二 生成式 AI 應用與規劃

生成式AI在處理文字前，會先進行斷詞（Tokenization），將文字拆解成多個Token。當模型遇到訓練資料中從未看過的罕見專有名詞時，現代AI技術最普遍的處理方式為何？

1. A將該名詞拆解為較小的已知片段，再依據這些片段進行後續語言處理與生成（正確答案）

   子詞切分把罕見詞拆成已知片段，是現行主流做法。

2. B系統因為看不懂這個新單字，會直接在對話中忽略並刪除它

   忽略刪除會遺失語意，斷詞器不會這樣處理。

3. C系統會立即判定格式錯誤，並強制中斷整段對話的運行

   未登錄詞不是格式錯誤，不會中斷對話。

4. D手動建立該名詞的新Token，並更新模型詞彙表後再繼續生成內容

   新增Token須重訓模型，非即時生成時的處理方式。