2026 Mac 本地大模型怎麼選：用決策樹判斷 8GB、16GB、24GB、64GB
選 Mac 跑本地大模型，不必先背完所有模型參數。先回答四個問題：你要跑多大模型、上下文多長、是否同時開其他應用程式、這是體驗還是長期主力。只體驗小模型看現有 8GB；新購入門看 16GB；長期個人使用優先 24GB；30B–32B 主力或 70B 邊界探索看 64GB 以上。需求越接近記憶體上限，越不能只按「模型能載入」下單。
先走一遍決策樹
下面這棵決策樹按用途 → 模型規模 → 長上下文/RAG → 多工四步走。每一步都會把選擇收窄到具體記憶體檔位；終點同時給出推薦檔位、可嘗試邊界、不適合的任務。下文按步拆解；若四步都拿不準，文末有保守路線。
| 步驟 | 問自己 | 走向 |
|---|---|---|
| ① 用途 | 體驗嘗鮮，還是長期主力？ | 體驗 → 用現有機；長期 → 進入② |
| ② 模型 | 主力模型是 4B–8B、14B、32B 還是 70B？ | 規模越大 → 記憶體底線越高 |
| ③ 上下文 | 要 32K+ 長上下文或本地 RAG 嗎？ | 是 → 在②基礎上上調一檔 |
| ④ 多工 | Xcode、瀏覽器、Docker 要同時開嗎？ | 是 → 再上調一檔或關閉重型應用程式 |
四個常見終點（保守通用建議，不承諾具體 token 速度）：
- 8GB（現有機體驗線）：4B–7B Q4，短上下文，單任務聊天。
- 16GB（新購入門線）：8B 主力，14B 可試，關瀏覽器分頁與模擬器。
- 24GB（長期個人甜點線）：8B/14B 常駐，32B 可互動，日常開發+模型並行。
- 64GB（大模型門檻線）：32B 主力從容，70B Q4 為條件性邊界（短上下文、少並發）。
第一問：體驗還是長期使用？
為什麼先問用途，而不是先看晶片或預算？因為「能不能載入」和「能不能舒服地用」是兩回事。體驗型使用者只需驗證工作流——Ollama 能否跑通、LM Studio 是否順手；長期主力使用者則要預留模型升級、上下文拉長和多應用程式並行的空間。用途決定了你是壓榨現有機器還是為新需求買單。
| 分支 | 典型場景 | 可執行結論 |
|---|---|---|
| 只體驗 / 偶爾試聊 | 好奇本地 AI、試一個 7B 模型、不寫進日常流程 | 用現有 Mac；8GB 可跑 4B–7B，不必為此換機 |
| 長期主力 / 每天依賴 | 本地程式碼助手、離線文件、Agent 常駐背景 | 進入第二問；新購至少 16GB，更穩妥是 24GB |
| 需求不確定 | 說不清要跑多大，但確定會長期用 | 保守路線：新購直接 24GB，避免半年後再換 |
已有設備 vs 新購設備，路線為什麼不同？已有 8GB/16GB 機器，升級記憶體往往不可行或成本過高，正確策略是把模型規模壓到機器能舒服運行的檔位，而不是硬追 32B。新購則應在下單時一次性把記憶體買夠——Apple Silicon 統一記憶體焊死，事後加記憶體等於換機。體驗黨可以「先跑起來」；要買新機的長期使用者，應把 16GB 當地板、24GB 當預設答案。
第二問：主力模型多大？
從模型規模反推記憶體，關鍵不在「B」這個數字本身，而在具體量化版本（Q4、Q5、Q8）和工具預設標籤。以下按 Ollama 常見 Q4_K_M 檔、中等上下文估算權重大致佔用（不含系統與 KV 快取，需再留 4–8GB）：
| 模型規模 | 代表模型（Q4 約） | 權重大致佔用 | 保守記憶體底線 |
|---|---|---|---|
| 4B | phi3:mini、小杯 Qwen |
約 2–3GB | 8GB 可體驗 |
| 8B | llama3.1:8b、qwen2.5:7b |
約 4–5GB | 16GB 主力 |
| 14B | qwen2.5:14b、phi4:14b |
約 9–11GB | 16GB 可試 / 24GB 舒適 |
| 32B | qwen2.5:32b、qwen2.5-coder:32b |
約 19–20GB | 24GB 可互動 / 32GB+ 主力 |
| 70B | llama3.3:70b、qwen2.5:72b |
約 40–43GB | 64GB 條件性起步（見下文） |
反推口訣：模型權重大致佔用 + 系統與其他應用程式 4–8GB + KV 快取 2–6GB ≤ 統一記憶體。若你選定 32B 作主力，24GB 是「能聊但緊」；要同時開 IDE，應把目標定在 24GB 機器跑 14B，或直接上 32GB/48GB 跑 32B。更完整的機型對照可參考 2026 Mac 本地模型與機型指南。
第三問：是否需要長上下文和 RAG？
長上下文和 RAG 會顯著改變選型——它們吃的不是模型權重，而是對話時的 KV 快取和嵌入/檢索的額外記憶體。
- 短上下文（4K–8K）：多數日常聊天、單檔案摘要。對記憶體影響小，按第二問結論即可。
- 長上下文（32K–128K）：整本書、超長日誌、多輪 Agent。KV 快取可能再多佔數 GB 至十餘 GB，在第二問基礎上上調一檔記憶體。
- 本地 RAG：向量庫 + 嵌入模型 + 生成模型同時駐留。GPT4All LocalDocs、Ollama + 自建 RAG 都會多佔 2–8GB（視文件規模與嵌入模型而定）。
| 第二問結論 | + 長上下文 / RAG | 調整後建議 |
|---|---|---|
| 16GB · 8B 主力 | 32K 上下文或小型 RAG | 可維持；關重型應用程式，避免再掛 14B |
| 16GB · 14B 主力 | 長上下文或 RAG | 上調至 24GB |
| 24GB · 32B 可互動 | 128K 或大型本地知識庫 | 上調至 32GB–48GB |
| 64GB · 70B 邊界 | 長上下文 RAG | 70B 僅適合短上下文；長文件請用 32B + RAG 或雲端 |
第四問：是否多工或並發？
macOS、瀏覽器、Xcode、模擬器、Docker 與本地模型共用同一塊統一記憶體。多工不會改變模型權重，但會吃掉你留給 KV 和緩衝區的空間；一旦觸發 swap，體驗會從「慢」變成「不可用」。
| 使用模式 | 記憶體策略 |
|---|---|
| 單任務：只開 Ollama / LM Studio | 按第二、三問結論即可 |
| 輕多工：瀏覽器 + 聊天 + 筆記 | 16GB 跑 8B；24GB 跑 14B–32B |
| 開發多工：Xcode + 模擬器 + 本地模型 | 24GB 為地板；32B 主力建議 32GB+ |
| 並發：多模型 / 多會話 API 同時跑 | 64GB 起；或拆成「小模型高頻 + 大模型按需載入」 |
實用技巧：不必 24 小時掛最大模型。8B 處理高頻小任務，32B/70B 按需 ollama run，比一台 16GB 機器硬扛 32B 更可持續。工具選型可參考 Ollama vs LM Studio vs Jan vs GPT4All 對比。
四個終點分別適合誰
終點 A：8GB — 現有機器體驗線
推薦檔位：繼續用現有 8GB Mac。可嘗試邊界：4B–7B Q4，上下文 ≤8K，單應用程式。不適合：14B+ 主力、RAG、與 Xcode 並行。若你只有 8GB 卻想買新機跑本地 AI，應直接跳到 16GB/24GB，而不是指望 8GB 新配置。
終點 B：16GB — 新購入門線
推薦檔位：新購預算緊、確定以 8B 為主力。可嘗試邊界：14B 短上下文、輕量 RAG（關模擬器與多餘分頁）。不適合：32B 常駐、128K 長上下文、開發+大模型同時滿載。適合：Mac mini / Air 入門、先驗證本地工作流再決定是否加記憶體檔。
終點 C：24GB — 長期個人甜點線
推薦檔位：大多數「認真做本地 AI」的個人使用者預設答案。可嘗試邊界：14B 常駐 + 32B 按需、中等 RAG、瀏覽器與 IDE 並存。不適合：70B 主力、多模型 24 小時並發。這是體驗與預算最均衡的一檔——不確定買多少時，優先 24GB 而不是賭 16GB 夠用。
終點 D：64GB — 大模型門檻線
哪些分支必須建議 64GB 或更高？
- 主力模型為 30B–32B，且要長上下文 + 日常開發多工並行。
- 要條件性探索 70B（見下條，非舒適主力）。
- 多模型 API 並發、本地 Agent 鏈式呼叫、大型 RAG 知識庫常駐。
- 48GB 能「載入」70B，但剩餘空間不足以支撐可用體驗——64GB 是 70B Q4 的保守起步線。
70B 條件性邊界（必讀）：在 64GB 上，llama3.3:70b 等 Q4 模型權重約 40GB+，載入後僅剩約 20GB 給系統、KV 與應用程式。僅當短上下文、少並發、接受明顯慢於 32B 的互動時，才可把 70B 當作「高品質偶發層」。要 70B 當真正主力、還要長 RAG，應規劃 96GB–128GB（Mac Studio / MacBook Pro Max 高記憶體檔），而非勉強 64GB。
不適合 64GB 仍不夠的場景：235B+ 級模型、多卡伺服器級部署——應走雲端 API 或專用推理節點，而非個人 Mac。
需求變化後何時升級
出現以下訊號，說明當前檔位已到頂，該換機或加購高記憶體機器（Apple Silicon 無法事後擴充記憶體）：
- 頻繁 swap：活動監視器裡記憶體壓力長期黃色/紅色，打字明顯卡頓。
- 模型降檔才能用：原本 14B 流暢，現在只能退到 8B 才不卡——說明並發或上下文在漲。
- 工作流固化到更大模型：從「試 32B」變成「每天離不了 32B」，16GB/24GB 應升到 32GB/48GB。
- RAG 或 Agent 上線生產：嵌入模型 + 向量庫 + 生成模型三件套常駐，按第三問規則上調一檔。
- 70B 從好奇變成剛需：64GB 僅夠邊界探索；要穩定主力請直接瞄準 96GB+。
升級順序建議：先加記憶體檔（換機）→ 再考慮晶片檔（M4 Pro/Max）。記憶體不夠時，換更快的晶片只能讓 swap 來得更「快」一點，解決不了裝不下的問題。
30 秒自檢清單
- 我是體驗還是長期主力？（體驗 → 現有 8GB 夠；長期 → 新購 ≥16GB）
- 主力模型是 8B、14B、32B 還是 70B？（對照上表反推底線）
- 要不要 32K+ 上下文或本地 RAG？（是 → 上調一檔）
- Xcode / Docker 要不要同時開？（是 → 24GB 起，32B 看 32GB+）
- 四步仍不確定？→ 新購 24GB；要 32B 主力或試 70B → 64GB
本文給出的是保守通用建議：實際速度因晶片檔、量化格式、工具（Ollama / LM Studio / MLX）而異。下單前請在目標工具裡確認具體模型體積，並以「權重 + 系統 + KV + 日常應用程式」做心算，而不是只看「能載入」。
統一記憶體架構：為什麼 Mac mini 適合落地這棵決策樹
決策樹裡每一檔記憶體上限，在 Apple Silicon 上都被統一記憶體架構放大或收緊：CPU、GPU 與神經網路引擎共享同一塊高頻寬記憶體，跑 8B–14B 量化模型時，往往比同價位「顯存與記憶體割裂」的 Windows 主機更不容易因資料搬運而卡頓。Mac mini M4 體積小巧、待機功耗約 4W 級，適合作為全天候本地 AI 節點——讓 Ollama 在背景按決策樹分層載入模型，白天開發、晚上 RAG，都不會像筆電那樣輕易被散熱和續航拖累。
macOS 的 Gatekeeper、SIP 與 FileVault 能為本地模型權重與 RAG 文件索引多加一層保護；對需要長期開機、又希望資料不出本機的使用者，這比在公用 PC 上混裝多個 AI 客戶端更可控。若你按本文走到 24GB 或 64GB 終點，用一台獨立的 Mac mini 承載模型與資料庫，比在主力機上硬擠記憶體更省心。Mac mini M4 是目前把這套決策樹跑在最流暢硬體上的高性價比起點——現在即可了解套餐，按你的終點檔位選對記憶體，讓本地推理穩定、低噪地持續運行。