RAG(Retrieval-Augmented Generation,檢索增強生成)是 2024~2026 年企業落地大模型的主流架構——不用微調、不用訓練、資料留在自家、幻覺率大幅下降。核心邏輯三步:把文件切塊 → 向量化存向量庫 → 查詢時向量檢索 Top-K 塊 → 連同問題餵給模型生成答案。這篇用圖解把關鍵元件、分塊策略、檢索優化、評估指標一次講清。
RAG 完整流程:一張圖看懂
- 離線索引階段:文件 → 切塊 → Embedding 模型 → 向量庫(含 metadata)
- 線上查詢階段:用戶問題 → Embedding 同一模型 → 向量相似度 Top-K → 重排序 → 組裝 Context → LLM 生成
關鍵元件選型表(2026-10 主流)
| 層級 | 推薦選項 | 備註 |
|---|---|---|
| Embedding 模型 | BGE-M3(多語、支援稠密/稀疏/多向量)、E5-Mistral-7B、text-embedding-3-large | 中文首選 BGE-M3;英文首選 E5-Mistral 或 OpenAI v3 |
| 向量庫 | Qdrant(生產級、支援過濾/重排)、Milvus、Weaviate、Chroma(輕量/開發) | Qdrant 單節點 10 萬向量 < 100ms,支援 Payload 過濾 |
| 重排序模型 | BGE-Reranker-v2-M3、Cohere Rerank 3.5、Jina Reranker v2 | 重排序能把 Top-10 精度再提 15~25%,強烈建議加 |
| 分塊策略 | 語意切塊(Semantic Chunking)+ 固定大小兜底、父子切塊 | 見下文「分塊策略」節 |
| 檢索模式 | 混合檢索:稠密向量 + BM25 稀疏 + 關鍵字精確匹配 | 單純向量檢索會漏掉專有名詞/代碼/數字 |
分塊策略:別只用固定長度
❌ 固定長度(如 500 tokens、重疊 50)
優點:簡單。缺點:會把一個完整段落切成兩半,導致語意破碎、檢索命中率下降。適合:純程式碼、結構化日誌。
✅ 語意切塊(Semantic Chunking)
用 Embedding 模型計算相鄰句子相似度,相似度驟降處切分。實測比固定長度 Recall@5 提升 12~18%。工具:langchain_experimental.text_splitter.SemanticChunker、chromadb.utils.embedding_functions.SemanticChunker。
✅ 父子切塊(Parent-Child Chunking)
父塊(大,如 1500 tokens)用於生成答案給模型看;子塊(小,如 256 tokens)用於向量檢索。檢索命中子塊 → 回傳對應父塊給 LLM。優點:檢索精準、生成上下文完整。缺點:儲存成本約 2。
✅ 針對程式碼/文檔的專用切塊
- Markdown/文檔:按標題層級切(
MarkdownHeaderTextSplitter),保留結構 - 程式碼:按函式/類別切(
RecursiveCharacterTextSplitter配合語言解析器) - PDF:先 OCR/解析版面,再按段落切
檢索優化:從「能用」到「好用」
1. 混合檢索(Hybrid Search)——必做
向量檢索擅長語意相似,但對專有名詞、程式碼符號、錯誤碼、版本號極弱。混合檢索 = 稠密向量(語意)+ BM25(關鍵字精確)+ 稀疏向量(如 SPLADE/BGE-M3 稀疏)。Qdrant、Milvus、Weaviate 原生支援。
2. 重排序——高回報低成本
向量檢索 Top-20 → Cross-Encoder 重排 → 取 Top-5 餵 LLM。BGE-Reranker-v2-M3 在中文基準上能把 MRR 提升 0.15+。延遲約 50~150ms(批次推理),極划算。
3. 查詢重寫/擴充
- HyDE:讓 LLM 根據問題生成一個「假設性回答」,再拿假設回答去檢索(比原查詢向量更接近目標文塊)
- 多查詢:把一個問題拆成 3~5 個子查詢(同義詞、反面、細分面向),合併檢索結果去重
4. Metadata 過濾 + 時間衰減
文件有版本、日期、部門、權限等 metadata。檢索時加 filter: {department: "engineering", version: ">=2.0"},避免檢到舊版/跨部門資料。時間衰減:score * exp(-days/365),讓新文件優先。
評估指標:別只看「感覺準不準」
| 指標 | 定義 | 及格線(參考) |
|---|---|---|
| Recall@K | Ground Truth 文塊是否在 Top-K 檢索結果中 | Recall@5 ≥ 0.85、Recall@10 ≥ 0.95 |
| MRR (Mean Reciprocal Rank) | 第一個相關文塊的排名倒數平均 | MRR ≥ 0.6 |
| Faithfulness | 生成答案是否只基於檢索到的 Context(無幻覺) | LLM-as-judge ≥ 4/5 |
| Answer Relevance | 生成答案是否真正回答了問題 | LLM-as-judge ≥ 4/5 |
| Context Precision | 檢索結果中相關文塊的比例 | ≥ 0.7 |
工具:RAGAS(自動化評估框架)、TruLens、LangSmith。建議:每次改動(換 Embedding、調分塊、加重排)都跑一次評估集(50~100 條 Ground Truth),數據說話。
最小可行性實作(Python + Qdrant + BGE-M3)
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct
from sentence_transformers import SentenceTransformer
import uuid
# 1. 初始化
client = QdrantClient(":memory:") # 或遠端 URL
encoder = SentenceTransformer("BAAI/bge-m3")
COLLECTION = "docs"
# 2. 建集合(1024 維)
client.create_collection(
collection_name=COLLECTION,
vectors_config=VectorParams(size=1024, distance=Distance.COSINE)
)
# 3. 文件切塊 → 向量化 → 入庫
chunks = ["文件片段 1...", "文件片段 2...", "..."]
vectors = encoder.encode(chunks, normalize_embeddings=True)
points = [PointStruct(id=str(uuid.uuid4()), vector=v.tolist(), payload={"text": c}) for v, c in zip(vectors, chunks)]
client.upsert(collection_name=COLLECTION, points=points)
# 4. 查詢
query = "如何設定 Docker 記憶體上限?"
q_vec = encoder.encode([query], normalize_embedding=True)[0]
hits = client.search(collection_name=COLLECTION, query_vector=q_vec, limit=5)
for h in hits:
print(h.score, h.payload["text"][:80])
# 5. 餵給 LLM 生成(略)
常見問題(FAQ)
RAG 需要 GPU 嗎?
Embedding 模型推理建議 GPU(BGE-M3 在 CPU 上單條約 200ms、GPU 約 10ms),但向量檢索(Qdrant/Milvus)純 CPU 即可。開發/測試階段 CPU 足夠,生產若 QPS > 50 建議掛 GPU 推理 Embedding。
向量維度越大越好嗎?
不一定。BGE-M3 1024 維、E5-Mistral 4096 維、text-embedding-3-large 3072 維。維度大 = 表達力強但儲存/檢索成本高。實測 1024 維在中文通用任務上已達 SOTA,性價比最高。
怎麼處理「文件更新、向量庫要同步」?
三種策略:①全量重建(文件 < 10 萬塊、每天跑一次)②增量 upsert(文件有 last_modified,只更新變動塊)③軟刪除 + 新增(舊塊標 deleted=true 過濾、新塊入庫)。建議:文件有版本號時用 ②,否則用 ③。
多租戶隔離怎麼做?
Qdrant/Milvus 支援 Payload 過濾:filter: {tenant_id: "org_123"}。每個租戶的文件打標 tenant_id,檢索時帶上過濾,物理上共用集合、邏輯上完全隔離。權限控制在應用層做,向量庫只管過濾。
延伸閱讀
- BGE-M3 論文:BGE-M3: Embedding Everything
- RAGAS 評估框架:GitHub
- Qdrant 混合檢索教學:官方文檔
- 本站:〈大模型 API 比較 2026〉——Embedding 模型價格與效能對照
- 本站:〈AI 編程工具四強比較〉——Cursor 的代碼庫索引本質就是程式碼 RAG
