本地部署大模型就是把 LLM 跑在自己的機器上：資料不出門、沒有每字計費、不受服務條款限制。代價是前期硬體投入與電費。這篇用實測數字告訴你門檻在哪、怎麼開始。
先說結論：多少錢能跑什麼模型
| 模型規模 | 顯示卡需求 | 參考硬體 | 約略花費 |
|---|---|---|---|
| 7B–8B（入門） | 8GB VRAM | RTX 4060 / 3060 | 二手約 3,000–5,000 元 |
| 14B–32B（中階） | 16–24GB VRAM | RTX 4090 / 3090 | 約 20,000–45,000 元 |
| 70B（旗艦級） | 48GB+（雙卡） | 23090 / A6000 | 約 60,000 元起 |
量化的 7B 模型（Q4）品質已可應付多數日常任務，這是「一張舊卡就能玩」的關鍵。
30 分鐘上手：Ollama 安裝流程
- 安裝 Ollama（Linux/Mac/Windows 皆支援）：官網一行指令完成。
- 拉模型：
ollama pull qwen2.5:7b（約 4.7GB，看頻寬 10–30 分鐘） - 跑起來：
ollama run qwen2.5:7b直接開始對話。 - 開 API：Ollama 內建 OpenAI 相容 API（port 11434），現有程式改個網址就能用。
- （可選）裝 Web UI：Open WebUI 提供類 ChatGPT 介面與多使用者管理。
每月電費實算
以 RTX 3090（350W）為例，閒置 20W、推理滿載 350W。假設每天有效推理 2 小時＋常駐閒置：
- 常駐：0.02kW 22h 30 天 = 13.2 度
- 推理：0.35kW 2h 30 天 = 21 度
- 合計約 34 度/月，以每度 3 元計 ≈ 102 元/月
對照雲端 API：7B 級模型每百萬 token 約 0.1–0.5 美元。每月處理 5 億 token 以上，自架才開始划算；一般用量直接用 API 比較省。
本地 vs 雲端 API：怎麼選
- 選本地：資料敏感（醫療、法務、客戶個資）、用量極大、需要離線、想深度客製
- 選 API：需要旗艦級智能、用量中等、不想管硬體、需要高可用
最常見的做法是混合：簡單任務走本地小模型，複雜任務呼叫雲端旗艦——用路由規則壓成本。
常見問題（FAQ）
沒有顯示卡能跑大模型嗎？
可以，純 CPU 也能跑量化 7B，只是速度慢（每秒幾個 token）。偶爾用用可以，長期建議加一張卡。
Mac 可以嗎？
可以。M 系列晶片的統一記憶體很適合跑 LLM，M2 Max 64GB 可跑 32B 量化模型，是低噪音方案的熱門選擇。
本地模型會比 ChatGPT 笨嗎？
旗艦級雲端模型仍然最強。但 2026 年的 7B–14B 開源模型在多數實用任務（摘要、分類、簡單寫作）已接近可用線，且持續進步中。
需要會寫程式嗎？
基本使用不用——Ollama 與 Open WebUI 都是圖形化或一行指令。要串接自動化才需要一點 API 知識。