【內容摘要】企業導入生成式AI的關鍵技術-RAG(檢索增強生成)，透過嵌入模型(Embedding Model)將文字轉為向量座標，實現語意搜尋，讓企業知識庫不再依賴關鍵字比對，真正打造專才AI。然而實務中，切塊(Chunking)策略不當、知識版本衝突、通用模型難以理解企業內部術語、缺乏詮釋資料(Metadata)與權限管理，以及模型注意力缺陷等問題，都可能導致RAG失效，甚至引發資安與管理危機。建造企業級AI知識庫絕非一鍵安裝，而是需要技術團隊針對業務情境反覆調校的資料清洗工程。

【TAG 關鍵字】#生成式AI # RAG #檢索增強生成 #Embedding Model #企業知識庫 #Chunking切塊(Chunking)策略 #RAG失效 #資安 #資料清洗

作者簡介

作者目前擔任凌群電腦資通技術處經理，現專職AI解決方案規劃與領導AI專案開發，並規劃凌群AI開發團隊之研究方向。

Fine-tuning (微調) ＆ RAG？

在上一期中，我們說明了RAG在實務面可能遭遇的痛點，像是版本衝突、行話障礙或是權限混亂，在經歷了這些陣痛期後，很多企業高層往往會萌生一個在想法：

「既然建RAG也這麼的麻煩，我們為什麼不乾脆Fine-tuning一個專屬自己企業的模型？把公司所有的規章和專業知識全部『寫』進模型的腦袋裡，它總該記住了吧？」

這正是目前企業導入 AI 時最常面臨的技術之爭，今天我們就來探討並打破這個迷思。

一個簡單的比喻：送去進修 (Fine-tuning) vs 提供手冊 (RAG)

要理解RAG與Fine-tuning的本質差異，我們可以把沒有經過任何加工的開源大型語言模型，想像成一個剛畢業、又非常聰明但沒有實務經驗的「高材生」。

• Fine-tuning就像「送員工去進修」：你花了大把時間和金錢，讓這個高材生去上特定的專業課程，進修的目的是改變他的「本質、思維方式與行為風格」；一旦學成歸國，他就內化了這些技能；但缺點是，如果下個月法規改了，他腦袋裡的知識就過時了，你得再送他去進修一次。



• RAG就像「發給員工最新手冊」：你不改變高材生的本質，而是給他一個權限控管極度嚴密的檔案櫃-向量資料庫，當客戶問問題時，你要求他「翻開手冊，看著內容回答」，缺點是他每次都要花時間翻書；但優點是，只要法規一改，你只需把檔案櫃裡的舊手冊抽換成新手冊，他馬上就能給出最新、最正確的答案。

這兩個簡單的比喻，不曉得有沒有稍微幫助各位讀者稍微了解Fine-tuning與RAG在本質上的差異了呢？若還是有點模糊，那我們再來看看這兩項技術在實務領域中的「實際應用場景」。

實務場景一：何時該用 Fine-tuning？

在現在的技術環境下，如果只是要改變AI的語氣或是規範輸出格式，工程師大可透過嚴謹的提示詞或後端程式碼來解決，根本不需要花大錢去訓練模型。

Fine-tuning真正的應用場景，應著重於「突破提示詞的極限」與「算力效能的最佳化」。

• 場景A：地端部署的小型模型「專業化」
  
  對於像是醫療或是金融這種須受到高度監管的產業，機密資料為了資訊安全的考量，絕大部分都會在封閉的內部網路使用，不能使用公有雲的OpenAI或是Gemini，企業必須在自己建置帶有GPU伺服器的地端環境去部署小型的開源模型；然而，小模型的「通識能力」通常較弱，這種情況才會需要用到Fine-tuning，餵給它數萬筆特定的醫療診斷紀錄或信用評估報告，把這個「資質平庸的通才」，訓練成在特定領域中表現堪比公有雲模型的「頂尖專才」，這做法不僅解決了資安問題，更能透過地端邊緣運算，將延遲降到最低、效能達到最高。



• 場景 B：內化無法寫進提示詞的「隱性知識」與「專屬邏輯」
  
  系統提示詞的長度是有限的，你不可能每次發問都把整本手冊貼進去，因為非常容易造成「上下文崩潰」，而更重要的是，企業內部的核心競爭力往往是「隱性知識」；舉例來說，部門有一套依經驗累積而成的「專案風險管理流程」，從風險識別、結果評估、提升成功率、二次評估、風險回應到最終執行，這種牽涉到複雜「情境判斷」與「歷史經驗」的思維邏輯，很難用幾句提示詞規則去描述定義，而透過Fine-tuning餵入過去五年的專案報告、異常紀錄與資深PM的決策過程，模型就能真正「內化」這套風險評估邏輯，長出符合自己企業DNA的模型。

《圖說》圖片來源：AI生成

實務場景二：何時該用RAG？

RAG的強項在於「知識的即時性、準確性與權限控管」，筆者認為這對容錯率低的企業來說是唯一的解法，畢竟即使是99%的準確度，對企業來說就還是有那1%的風險發生機率會造成任何資本上的損失。

• 場景 A：醫療體系的專業知識大腦
  
  針對這點先舉例一個真實的場景，如果醫院把「用藥指引」拿去模型做Fine-tuning，或許因為學習資料的問題，讓模型產生了「混亂(如擬合或是泛化)」，把5mg記成了50mg，那這導致的後果可是非同小可的，畢竟醫療都是跟生命有關的，這種差錯絕對是不允許的。
  
  因此在這個場景下，就必須使用RAG，將醫院專業的醫療與使用指引，結合專屬的AI客製化檢索服務，打造成一個「AI用藥助手」，醫生提問時，AI必須從最新的指引文件中精準撈出段落並標示來源；若是衛福部明天更新了用藥規範，使用者只需上傳新文件，或是透過程式開發去自動同步，那麼這支AI用藥助手就能同步寫入到向量資料庫，完全不需要重新Fine-tuning模型，如此是不是更便於使用，而且還不用耗費大量的算力去Fine-tuning模型呢？



• 場景 B：企業內部的HR或財會問答系統
  
  同樣舉一個真實發生的場景，在2018年亞馬遜中止停用了AI篩選履歷工具，原因是產生了「性別歧視」，因為它在過往的訓練資料中得到的結果是男性大於女性，所以模型自動把女性履歷的評分降低；若是使用RAG搭配客製化開發，讓模型能針對不同的選員因素強制對齊標準去篩選履歷，則能讓整個篩選履歷過程更透明與客觀 (除非在客製化時帶入了偏見的篩選指標，否則肯定是能大幅降低因歷史數據造成的盲目歧視)。
  
  補充：目前無論是我國、美國或是歐盟的AI法規，均有明確規範要杜絕AI歧視。
  
  接著再如同筆者於上一篇提到的，公司的薪資結構和考績標準是有「機密等級」的，Fine-tuning會把知識全混在腦袋裡，模型無法區分「這句話能不能跟這位員工說」，而RAG則可以在檢索文件前，先行判斷發問者的員工層級與權限，只讓它「翻閱」它有權限看的手冊，則能解決資安問題。
  
  《圖說》圖片來源：AI生成

技術的抉擇：小孩子才做選擇，我全都要？

因此，企業在規劃AI應用的技術考量時，可以參考以下選擇：

《圖說》資料來源：筆者自行整理

筆者相信在最頂尖的企業AI架構與規劃中，這兩者肯定是並存的，我們可能會先將模型 Fine-tuning，讓它學會公司內部的「專業術語」和「溝通格式」；接著再為它掛上RAG架構，讓它能隨時檢索最新的「動態知識」。

經過了這七篇的拆解，我們已經賦予了AI聰明的邏輯、嚴謹的提示詞邊界，以及專屬的企業大腦。但現在的AI充其量只是一個「很會講話的高級顧問」。

如果我們希望它不只會「動口」，還能幫我們「動手」去執行工作呢？下一期，我們將進入AI應用開發目前最前沿的領域：「AI Agent：從『對話』進化到『行動』」。