AI 與 LLM 工具

RAG 圖解入門:檢索增強生成怎麼做(2026)

admin · 11月19日 · 2026年本文共3660个字 · 预计阅读13分钟17次已读

RAG(Retrieval-Augmented Generation,檢索增強生成)是 2024~2026 年企業落地大模型的主流架構——不用微調、不用訓練、資料留在自家、幻覺率大幅下降。核心邏輯三步:把文件切塊 → 向量化存向量庫 → 查詢時向量檢索 Top-K 塊 → 連同問題餵給模型生成答案。這篇用圖解把關鍵元件、分塊策略、檢索優化、評估指標一次講清。

RAG 完整流程:一張圖看懂

RAG 圖解入門:檢索增強生成怎麼做(2026)
RAG 端到端流程:離線建索引(切塊→嵌入→入庫)+ 線上查詢(嵌入查詢→向量檢索→重排→組裝上下文→LLM 生成)
  1. 離線索引階段:文件 → 切塊 → Embedding 模型 → 向量庫(含 metadata)
  2. 線上查詢階段:用戶問題 → Embedding 同一模型 → 向量相似度 Top-K → 重排序 → 組裝 Context → LLM 生成

關鍵元件選型表(2026-10 主流)

層級 推薦選項 備註
Embedding 模型 BGE-M3(多語、支援稠密/稀疏/多向量)、E5-Mistral-7B、text-embedding-3-large 中文首選 BGE-M3;英文首選 E5-Mistral 或 OpenAI v3
向量庫 Qdrant(生產級、支援過濾/重排)、Milvus、Weaviate、Chroma(輕量/開發) Qdrant 單節點 10 萬向量 < 100ms,支援 Payload 過濾
重排序模型 BGE-Reranker-v2-M3、Cohere Rerank 3.5、Jina Reranker v2 重排序能把 Top-10 精度再提 15~25%,強烈建議加
分塊策略 語意切塊(Semantic Chunking)+ 固定大小兜底、父子切塊 見下文「分塊策略」節
檢索模式 混合檢索:稠密向量 + BM25 稀疏 + 關鍵字精確匹配 單純向量檢索會漏掉專有名詞/代碼/數字

分塊策略:別只用固定長度

❌ 固定長度(如 500 tokens、重疊 50)

優點:簡單。缺點:會把一個完整段落切成兩半,導致語意破碎、檢索命中率下降。適合:純程式碼、結構化日誌。

✅ 語意切塊(Semantic Chunking)

用 Embedding 模型計算相鄰句子相似度,相似度驟降處切分。實測比固定長度 Recall@5 提升 12~18%。工具:langchain_experimental.text_splitter.SemanticChunker、chromadb.utils.embedding_functions.SemanticChunker。

✅ 父子切塊(Parent-Child Chunking)

父塊(大,如 1500 tokens)用於生成答案給模型看;子塊(小,如 256 tokens)用於向量檢索。檢索命中子塊 → 回傳對應父塊給 LLM。優點:檢索精準、生成上下文完整。缺點:儲存成本約 2。

✅ 針對程式碼/文檔的專用切塊

  • Markdown/文檔:按標題層級切(MarkdownHeaderTextSplitter),保留結構
  • 程式碼:按函式/類別切(RecursiveCharacterTextSplitter 配合語言解析器)
  • PDF:先 OCR/解析版面,再按段落切

檢索優化:從「能用」到「好用」

1. 混合檢索(Hybrid Search)——必做

向量檢索擅長語意相似,但對專有名詞、程式碼符號、錯誤碼、版本號極弱。混合檢索 = 稠密向量(語意)+ BM25(關鍵字精確)+ 稀疏向量(如 SPLADE/BGE-M3 稀疏)。Qdrant、Milvus、Weaviate 原生支援。

2. 重排序——高回報低成本

向量檢索 Top-20 → Cross-Encoder 重排 → 取 Top-5 餵 LLM。BGE-Reranker-v2-M3 在中文基準上能把 MRR 提升 0.15+。延遲約 50~150ms(批次推理),極划算。

3. 查詢重寫/擴充

  • HyDE:讓 LLM 根據問題生成一個「假設性回答」,再拿假設回答去檢索(比原查詢向量更接近目標文塊)
  • 多查詢:把一個問題拆成 3~5 個子查詢(同義詞、反面、細分面向),合併檢索結果去重

4. Metadata 過濾 + 時間衰減

文件有版本、日期、部門、權限等 metadata。檢索時加 filter: {department: "engineering", version: ">=2.0"},避免檢到舊版/跨部門資料。時間衰減:score * exp(-days/365),讓新文件優先。

評估指標:別只看「感覺準不準」

指標 定義 及格線(參考)
Recall@K Ground Truth 文塊是否在 Top-K 檢索結果中 Recall@5 ≥ 0.85、Recall@10 ≥ 0.95
MRR (Mean Reciprocal Rank) 第一個相關文塊的排名倒數平均 MRR ≥ 0.6
Faithfulness 生成答案是否只基於檢索到的 Context(無幻覺) LLM-as-judge ≥ 4/5
Answer Relevance 生成答案是否真正回答了問題 LLM-as-judge ≥ 4/5
Context Precision 檢索結果中相關文塊的比例 ≥ 0.7

工具:RAGAS(自動化評估框架)、TruLens、LangSmith。建議:每次改動(換 Embedding、調分塊、加重排)都跑一次評估集(50~100 條 Ground Truth),數據說話。

最小可行性實作(Python + Qdrant + BGE-M3)

from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct
from sentence_transformers import SentenceTransformer
import uuid

# 1. 初始化
client = QdrantClient(":memory:")  # 或遠端 URL
encoder = SentenceTransformer("BAAI/bge-m3")
COLLECTION = "docs"

# 2. 建集合(1024 維)
client.create_collection(
    collection_name=COLLECTION,
    vectors_config=VectorParams(size=1024, distance=Distance.COSINE)
)

# 3. 文件切塊 → 向量化 → 入庫
chunks = ["文件片段 1...", "文件片段 2...", "..."]
vectors = encoder.encode(chunks, normalize_embeddings=True)
points = [PointStruct(id=str(uuid.uuid4()), vector=v.tolist(), payload={"text": c}) for v, c in zip(vectors, chunks)]
client.upsert(collection_name=COLLECTION, points=points)

# 4. 查詢
query = "如何設定 Docker 記憶體上限?"
q_vec = encoder.encode([query], normalize_embedding=True)[0]
hits = client.search(collection_name=COLLECTION, query_vector=q_vec, limit=5)
for h in hits:
    print(h.score, h.payload["text"][:80])

# 5. 餵給 LLM 生成(略)

常見問題(FAQ)

RAG 需要 GPU 嗎?

Embedding 模型推理建議 GPU(BGE-M3 在 CPU 上單條約 200ms、GPU 約 10ms),但向量檢索(Qdrant/Milvus)純 CPU 即可。開發/測試階段 CPU 足夠,生產若 QPS > 50 建議掛 GPU 推理 Embedding。

向量維度越大越好嗎?

不一定。BGE-M3 1024 維、E5-Mistral 4096 維、text-embedding-3-large 3072 維。維度大 = 表達力強但儲存/檢索成本高。實測 1024 維在中文通用任務上已達 SOTA,性價比最高。

怎麼處理「文件更新、向量庫要同步」?

三種策略:①全量重建(文件 < 10 萬塊、每天跑一次)②增量 upsert(文件有 last_modified,只更新變動塊)③軟刪除 + 新增(舊塊標 deleted=true 過濾、新塊入庫)。建議:文件有版本號時用 ②,否則用 ③。

多租戶隔離怎麼做?

Qdrant/Milvus 支援 Payload 過濾:filter: {tenant_id: "org_123"}。每個租戶的文件打標 tenant_id,檢索時帶上過濾,物理上共用集合、邏輯上完全隔離。權限控制在應用層做,向量庫只管過濾。

延伸閱讀

  • BGE-M3 論文:BGE-M3: Embedding Everything
  • RAGAS 評估框架:GitHub
  • Qdrant 混合檢索教學:官方文檔
  • 本站:〈大模型 API 比較 2026〉——Embedding 模型價格與效能對照
  • 本站:〈AI 編程工具四強比較〉——Cursor 的代碼庫索引本質就是程式碼 RAG
0 条回应