微調還是 RAG?企業客製 AI 的兩條路

「我們想訓練一個懂我們產業的 AI。」這句話我們在需求訪談裡聽過太多次。追問下去,老闆想像的通常是把公司十年的文件「餵」給模型,讓它變成公司專屬的大腦。這個想像沒有錯,但實現它有兩條技術路線——微調(fine-tuning)與 RAG(檢索增強生成)——而九成的人選錯邊,是因為沒人跟他們講清楚兩者的差別。

我們自己的產品線兩條路都走過,先講結論:大多數企業需要的是 RAG,不是微調。但「大多數」不是「全部」,這篇把判斷邏輯攤開。

兩條路的本質差異:改腦袋 vs 給小抄

微調是改腦袋。拿你準備的大量範例資料,對模型本身做額外訓練,改變它的參數。訓練完,模型「內建」了你要的行為——特定的語氣、格式、領域慣用語,不需要每次都在提示詞裡交代。

RAG 是給小抄。模型本身不動,但每次回答前,系統先從你的知識庫檢索相關段落,連同問題一起給模型,要求照著答。知識放在外部資料庫,隨時可以增刪修改。原理我們在RAG 是什麼那篇有白話拆解。

一句話記住差別:微調教模型「怎麼說話」,RAG 教模型「說什麼內容」。多數企業的需求——讓 AI 回答公司的產品、規章、流程——是內容問題,不是說話方式問題,所以 RAG 是正解。

四個維度的實務比較

其中「知識更新」是最容易被低估的一項。你的價格、規則、產品線每季都在變,微調出來的模型上線那天就開始過期;RAG 只要維護文件就好,而維護文件本來就是你該做的事。

什麼時候微調才是對的

誠實說,有些場景微調確實更好:

• 高度重複的固定任務:每天上萬次的分類、抽取、格式轉換,微調一個小模型,比每次呼叫大模型便宜又快。
• 提示詞塞不下的風格要求:品牌語氣細膩到範例給十個都學不像,微調能把風格「烙」進去。
• 省提示詞成本:提示詞每次都要帶三千字的規則說明,量大到一個程度,微調把規則內化反而划算。

注意這些場景的共同點:任務穩定、量大、格式明確。而且它們多半出現在產品成熟期,不是導入第一天。

先用 RAG 把「答得出來」做到,再考慮用微調把「答得又快又便宜」做到。順序反過來,就是拿六位數的訓練預算去解一個整理文件就能解的問題。

我們的建議路徑

第一步,把需求翻譯成「內容問題」還是「行為問題」。想讓 AI 知道你們的事,是內容問題,走 RAG;想讓 AI 用特定方式做一件重複的事,是行為問題,才考慮微調。

第二步,無論走哪條路,先做小規模驗證。RAG 用一個部門的文件先跑;微調先用提示詞加範例模擬,確認「模型做得到」再談「做得更省」。

第三步,也是最重要的:兩條路不互斥。我們看過的成熟架構,常常是 RAG 負責知識、微調後的小模型負責前置的分類與路由,各司其職。

如果你手上正有一個「想讓 AI 更懂我們」的題目,不確定該走哪條路,歡迎帶著你的場景來找我們聊。判斷路線這件事,通常一次會議就能給你明確答案,不需要先花任何開發預算。