本地跑大模型，2026 年秋怎么选
数据截至 2026 年 9 月底。整机价格是京东自营的到手价，Mac 是 Apple 国行官网价。
先说结论
- 决定体验的是"显卡能用多少内存"和"内存带宽"，不是 NPU 的 TOPS。 除了后摩，各家（包括 Apple）跑大模型都靠 GPU，NPU 基本闲着。这类机器最适合跑"总参数大、每次只激活一小部分"的 MoE 模型。
- 以 Qwen3.8 这一代模型当智能底线，"好体验"目前只在 4–6 万元档：Mac M5 Max 128GB、M5 Ultra、DGX Spark、RTX 5090 加大内存。AMD 395 只做到"能用"，2–3 万元的好体验还是空白。
- 跑分不能直接比。 同一台 Spark，换量化版本、开 MTP 投机解码，出字能从约 17 提到约 49 tok/s。只有同引擎、同量化、同 prompt 长度的数字才能算倍数。
- Agent 时代，读得快比写得快更要紧。 Agent 每轮要读几万 token、只写几百个，"读 3.2 万 token 要多久"比"每秒出几个字"更影响体验。这一项直接测过的只有 Spark：冷启动 17 秒、热启动 14 秒。
- "128GB"不等于显卡能用 128GB。 Spark 约 121.7 GiB，395 在 Linux 下约 117 GiB、Windows 下只有 96GB，Mac 默认约 107.5 GiB。
- Mac 是目前体验最好的。 带宽最高，MLX 生态让新模型约 30 分钟就有量化版。软肋是内存加价贵、进不了信创采购、不适合 7×24 多人服务。
- 云端 Agent 普及后，本地机器是分工而不是替代，也主要不靠省钱赢。 云端 Agent 要碰本机文件、已登录的网站和内网时，自己也得连回用户的电脑；按今天的价格，单人用的本地机器在账面上大多比不过同档的国产 API。
一、先分清两种"AI PC"
市面上叫"AI PC"的，其实是两类产品：
- 微软 Copilot+ PC：门槛是 NPU 达到 40 TOPS，用来跑系统自带的小功能，比如实时字幕、修图。厂商宣传比的是 TOPS。
- 本地大模型主机（本文讨论的）：决定体验的是 GPU 能用多少内存（决定能装多大的模型）和内存带宽（决定出字速度）。TOPS 对大模型体验几乎没有参考价值。
为什么这批机器装得下大模型：统一内存
传统电脑里，内存和显存是分开的两块，模型必须整个放进显存。一个 70B 模型量化后约 40GB，120B 约 65GB，消费级显卡都装不下（RTX 5090 也只有 32GB）。
这批机器把 CPU 和 GPU 封装在同一颗芯片里，共用一整块内存：128GB 的机器，GPU 能用其中的大部分（约 96–122 GiB，见第四节），2 万元的迷你主机就能装下 120B 级别的模型。代价是带宽只有 256–273GB/s，约为 RTX 5090 显存（约 1,800GB/s）的 1/7。结果是模型装得下，但出字不快：MoE 模型每秒几十个 token，稠密 70B 模型每秒只有几个。
Mac 是例外：M5 Max 是 614GB/s，M5 Ultra 约 1.2TB/s，所以同样是统一内存，Mac 出字快得多。
为什么"参数量"不能直接比：稠密和 MoE
- 稠密模型像一位全科医生，不管问什么都要动用全部知识：每生成一个 token，全部参数都要从内存读一遍。代表是 Qwen3.8-27B。
- MoE（混合专家）模型像一家专科医院，几百位专家都在，每个问题只由分诊台挑出的几位来回答。代表是 Qwen3.8-Flash-Next：125B 总参数，每个 token 只用其中 6B。
| Qwen3.8-27B（稠密） | Qwen3.8-Flash-Next（MoE） | |
|---|---|---|
| 总参数：决定装不装得下 | 27B，4-bit 约 16GB | 125B，4-bit 约 94GB |
| 激活参数：决定每个 token 要从内存搬多少数据 | 27B，每 token 约 15GB | 6B，每 token 约 4GB |
| 带宽 400GB/s 时的理论出字速度 | 约 18 tok/s | 约 70 tok/s |
| 智能分数（Artificial Analysis 指数） | 34 | 40 |
Flash-Next 占的内存是 27B 的 6 倍，却更聪明，出字还快约 4 倍。所以 2026 年 30B 以上的开源模型基本都是 MoE，这也是大内存统一内存路线能跑大模型的根本原因。看到"能跑 100B"的宣传，要先问清是稠密还是 MoE，两者对带宽的要求差十倍。
二、四条路线和价格
| 路线 | 到手价（元） | 内存 · 带宽 · 系统 |
|---|---|---|
| Apple Mac（M5 Max / M5 Ultra） | Ultra 96GB 46,999；Max 128GB 约 4.2–5 万 | Max 最高 128GB · 614GB/s；Ultra 最高 512GB · 约 1.2TB/s；macOS |
| NVIDIA GB10（DGX Spark 及华硕、戴尔等的同芯片机型） | 3.45–4.5 万 | 128GB · 273GB/s；Arm Linux（DGX OS） |
| AMD Ryzen AI Max+ 395（二十多款整机） | 1.14–3.35 万；128GB 迷你主机多在 1.95–2.7 万 | 64 / 128GB · 约 256GB/s；Windows / Linux（x86） |
| 此芯 P1 / 后摩 M50 | 0.25–0.7 万 | P1 最高 64GB · 约 100GB/s；M50 最高 48GB · 153.6GB/s；Linux / 麒麟 / UOS |
- Mac 体验最好，有笔记本形态。M5 Ultra 96GB 的价格已在官网核实，128GB 机型是官网选配价，未逐项核实。
- GB10 是 CUDA 全栈，读入快，能做微调和多机互联，但只能跑 Arm Linux。
- 395 是普通 x86 电脑，能办公、能打游戏，形态最多（迷你主机、笔记本、NAS、一体机）。价格下限 1.14 万含 1,500 元国补（有地区限制），不含国补约 1.3 万起。
- 此芯 / 后摩便宜、整机 15–30W、国产化。但此芯只能跑小模型；后摩没有公开适配主流大模型，厂商称联想 P7 可跑 122B，没有说明是哪个模型，也没有第三方实测。这一档只有联想天禧 Claw AI 主机 mini 是京东价，其余是国行定价或媒体报道价。
三档价格互不重叠。另外两件事值得知道：
内存涨价吃掉了 395 的性价比，而且还在涨。 128GB 机型首发价约 1.3–1.5 万元，现在京东普遍在 2 万以上；零刻 GTR9 Pro 从 12,999 涨到 25,799（标价，到手 24,170）；京东自营 DGX Spark 8 月从 34,499 涨到 37,999。IDC 预计存储涨价周期会延续到 2027 年底。
宣传在比 NPU，干活的是 GPU。 395 的 50 TOPS NPU 大多闲置，只在跑小模型时参与；此芯 P1 的 30 TOPS NPU 只能跑 1.5B–7B 的小模型。后摩 M50 是唯一真正用 NPU 跑大模型的，但只能用自家的软件栈「后摩大道」，Ollama 这类通用工具用不了。Apple 的做法最有代表性：手里有 NPU，却把矩阵单元放进了 GPU（第五节细说）。
三、实测：谁能跑出好体验
先说怎么读这些数字
- 出字（decode）是生成阶段的速度；读入（prefill）是 prompt 长度 ÷ 读入耗时。单位都是 tok/s，中文 1 token 约 1–1.5 个字。读入速度随 prompt 变长通常会下降，所以要写明长度。
- 读 3.2 万 token 要多久：关掉前缀缓存，喂一个 32,768 token 的新 prompt，到出第一个字的时间。这是 Agent 场景最关键的一项：Agent 每轮动辄读几万 token，输出通常只占 0.5–2%。
- 测试条件：引擎 · 量化 · 是否开 MTP · prompt 长度 · 冷 / 热。同一台机器换个引擎或量化，速度能差两三倍，所以下面每个数字都带条件。
- 箭头只表示同一引擎、同一量化的开 / 关对照（主要是 MTP 投机解码，例如 44 → 74）。不同引擎的数字用分号隔开，只能比量级，不能算倍数。
- 标"社区自测"的来自社区单一来源或作者自测；标"推算"的是按已知数据算出来的，没有直接测过。
"好体验"的门槛定为：Qwen3.8-Flash-Next 和 Qwen3.8-27B 出字都 ≥30 tok/s，并且读 3.2 万 token（约 3–5 万字）不超过 1 分钟。
Qwen3.8-Flash-Next（125B MoE，激活 6B）
| 机器 | 出字 / 读入（tok/s） | 测试条件 |
|---|---|---|
| Mac M5 Ultra（约 1.2TB/s） | 108 / 2,700–2,900 | oMLX 0.7 · oQ4e-mtp · 开 MTP（深度 3）· 短 prompt；读入为 4K–15K 新 prompt |
| Mac M5 Max 128GB（614GB/s） | 44 → 74 / 1,450–1,700 | MTPLX 2.10–2.12 · MTP 关 → 开 · 代码任务；读入为 4K–16K 新 prompt |
| DGX Spark（273GB/s） | 17 → 42 / 1,670–2,310 | vLLM＋社区补丁 · NVIDIA NVFP4 · MTP 关 → 开 · 40 道混合任务的中位数 |
| DGX Spark | 38 / 950 | llama.cpp · 不开 MTP · 深度 0 · 读入为 512 token |
| AMD 395 128GB（约 256GB/s） | 29 / 417 | llama.cpp Vulkan · IQ4_XS · 不开 MTP · 深度 0 · 读入为 512 token |
| AMD 395 128GB | 32–47 / — | 社区 MTP 方案 · 8K 上下文：写新代码 32、改写文件 47 |
| AMD 395 128GB | — / 373；752 | 3.2 万长度时的读入：llama.cpp 373；Halogen 752（社区自测） |
| RTX 5090 台式 + 128GB 内存 | 47–62 / 820–1,000 | 2-bit（UD-Q2_K_XL）· 自改 llama.cpp 分支 · 48 层里 37 层的专家放内存 · prompt 2K–15K |
读 3.2 万 token 要多久（关掉前缀缓存、32,768 token 的新 prompt）：
| 机器 | 结果 |
|---|---|
| DGX Spark | 实测冷启动 17 秒、热启动 14 秒（vLLM 社区方案；社区作者自测，其中一套有独立复现） |
| Mac M5 Ultra | 没测过这个长度；读 6.5 万 token 冷启动 24 秒（oMLX） |
| Mac M5 Max 128GB | 没测过这个长度；读 1.6 万 token 冷启动 9.7 秒（MTPLX） |
| AMD 395 128GB | 没测过；按上表 3.2 万长度时的读入速度推算，约 45–90 秒 |
Qwen3.8-27B（稠密）
| 机器 | 出字 tok/s | 测试条件 |
|---|---|---|
| RTX 5090 台式 | 61 → 135 | llama.cpp · Q4 · MTP 关 → 开（社区汇总）；读 6K prompt 约 3,031 tok/s（LM Studio） |
| RTX 4090 台式 | 47 → 109 | llama.cpp b11200 · UD-Q4_K_XL · MTP 关 → 开 · 8K 上下文 |
| RTX 5090 笔记本 | 37 → 51 | llama.cpp · MTP 关 → 开（社区汇总） |
| Radeon AI PRO R9700（32GB 显卡，10,999 元） | 27 → 43–47 | llama.cpp · MTP 关 → 开（社区汇总） |
| Mac M5 Ultra | 48 | oMLX · oQ4e-mtp（含 MTP）· 6K prompt；12.8 万上下文时 32 |
| Mac M5 Max 128GB | 33；64 | 33 是 MLX 普通引擎（社区自测）；64 是 MTPLX 开 MTP、3K 回答 |
| DGX Spark | 12；38 | 不投机时 SGLang、vLLM、llama.cpp 都在 12 左右；SGLang＋DSpark 投机在评测类提示约 38，写散文只有 12–17 |
| AMD 395 128GB | 13 → 23 | Ollama 0.32 · Q4_K_M · MTP 关 → 开 |
从两张表看出的几件事
- 好体验已经有了，但门槛在 4–6 万元。 达标的是 M5 Max 128GB、M5 Ultra、DGX Spark（Flash-Next 要用 vLLM 社区方案，27B 要靠投机解码且证据弱）、RTX 5090 加大内存（Flash-Next 要压到 2-bit）。其中 Mac 是唯一同时做到"快、安静、有笔记本形态、软件成熟"的。
- 395 只做到"能用"。 Flash-Next 出字要靠 MTP 才过 30；27B 开了 MTP 也只有 23（Ollama）到 26（llama.cpp）；读 3.2 万 token 没有直接测过，按读入速度推算要 45–90 秒。
- 稠密 27B 是独显的主场。 不开投机时，llama.cpp 系的出字基本按带宽排序：4090 约 47、5090 笔记本约 37、R9700 约 27，395 和 Spark 只有 12–13。
- 读入差距比出字大，但要按同引擎比。 同一个模型文件、同一个 llama.cpp 构建下，Spark 跑 Flash-Next 的读入约为 395 的 2.3 倍、出字约 1.3 倍。换成各平台最好的引擎后，大致是 M5 Ultra ≈ Spark > M5 Max > 395，但这部分差距里有引擎的功劳。
- 软件的影响不比硬件小。 Spark 那一行的 17 → 42 是 40 道混合任务的中位数；只看写散文，NVIDIA 官方量化版开 MTP 是 28，换社区量化版是 24 → 49。MTP 草稿头现在会随权重一起发布，单用户出字可提速 1.5–3 倍，但写散文这类任务提得少。
- 再大一级的模型，128GB 就吃力了。 GLM-5.3-Flash（321B，激活 18B）在 395 上只能用 2-bit，约 10 tok/s（llama.cpp · UD-Q2_K_XL · 32K 上下文）；Spark 单机要压到 2-bit 再加投机解码（EXL3 2-bit + DFlash2），写散文 25–30 tok/s，和原版的 top-1 一致率约 89%。M5 Ultra 256GB 是唯一能以 4-bit 级精度单机跑它的机器（约 41 tok/s，oMLX，短 prompt）。
- 生图、语音、音乐都能跑，视频生成不适合。 MiniMax H3 同为 5 秒、20 步、约 720p，Spark 要 9–15 分钟，395 要 36–44 分钟。
四、装得下 ≠ 跑得好：128GB 不是 128GB
GPU 那一侧要放下的东西 = 模型权重 + 额外模块（视觉编码器、MTP 头等）+ KV / 状态缓存（随上下文和并发增长）+ 运行时开销（llama.cpp 约 2.5–4 GiB）。而标称 128GB 的机器，GPU 能用的并没有那么多：
| 平台（128GB） | GPU 能用多少 | 说明 |
|---|---|---|
| DGX Spark | 约 121.7 GiB | CUDA 可见约 121.7 GiB；内存耗尽会整机卡死，建议给系统留 8 GiB |
| AMD 395 · Linux | 约 117 GiB | BIOS 设最小显存，再用内核参数把 GTT 调到 120,000 MiB |
| Mac M5 Max | 约 107.5 GiB（默认） | Metal 的默认上限，可以用 sysctl 调高 |
| AMD 395 · Windows | 96GB | BIOS 里专用显存最多只能设 96GB |
这也是很多人买了 395 跑大模型要重装 Linux 的原因：Linux 下能分给显卡约 117 GiB，Windows 最多 96GB；AMD 的 ROCm 也是 Linux 版更成熟。
几个典型模型在 128GB 档的账：
- Qwen3.8-Flash-Next（4-bit 的 UD-IQ4_XS 版，按 26.2 万上下文算）：GPU 合计约 97.9 GiB，Spark 和 395 Linux 能全部放下；Mac 要重新切分文件；395 Windows 只能开到 3.2 万上下文。它另有 51B 参数是"查表"用的（约 26.8 GiB），每个 token 只读约 5KB，可以放到 SSD 上省内存。
- Qwen3.8-27B（BF16 全精度）：合计约 72.8 GiB，KV 缓存是大头——每 token 约 64 KiB，26.2 万上下文要 16 GiB，和 4-bit 权重一样大。
- GLM-5.3-Flash：128GB 只能放 1–2 bit，质量不合格；4-bit 合计约 198 GiB，要 256GB 的机器。
内存再往上加，也只是多了容量。192GB 的 AMD PRO 495 带宽约 273GB/s，只比 395 高约 7%。Framework 社区 9 月 30 日的实测里，495 跑 GLM-5.3-Flash 2-bit 出字 9–12 tok/s、2–4-bit 混合只有 5–8；Flash-Next 2-bit 开 MTP 是 23–25。Framework 自己的评价是，两种 GLM 配置拿来交互式编程都太慢。
五、Mac 为什么体验最好，短板在哪
以 Qwen3.8 这一代为底线，目前单机体验最好的是 M5 Max 128GB。它强的不只是硬件。
生态：新模型 30 分钟内可用。 Qwen3.8-27B 权重公开后 25–30 分钟，mlx-community 就上线了 4/8-bit 版本，约 4.5 小时后出现带 MTP 加速的版本。Ollama 从 v0.30 起在 Mac 上默认走 MLX，LM Studio 一键下载模型。
硬件：矩阵单元放进 GPU，而不是 NPU。 M5 在每个 GPU 核里加了矩阵单元（Apple 叫"神经加速器"）：读入比 M4 快 3.3–4.1 倍，出字只快约 1.2 倍，与带宽的提升幅度一致。Apple 自家的 NPU（ANE）在大模型推理里基本闲置：没有公开的直接 API，为固定形状设计，上下文只有 2–4K。社区项目用 ANE 跑 8B 模型约 9 tok/s，同一个模型在 GPU 上超过 93 tok/s。这件事说明，NPU 想跑大模型，难点不在算力，而在可编程性和对动态形状的支持。
短板：
- 内存加价贵：国行 M5 Max 从 36GB 升到 128GB，约多花 2.5 万元；
- 进不了信创和政企采购：2026 年 9 月中直机关笔记本采购的 10 个包，全部由国产 CPU 拿下；
- 不适合 7×24 小时多用户服务，也不能上机架；
- 长上下文读入仍比 NVIDIA 独显慢一个量级。
路线图：M6 只出了基础款（最高 32GB、170GB/s）。据 Gurman 的报道（单一信源），没有 M6 Pro / Max / Ultra，M7 Pro / Max 2027 年下半年上 MacBook Pro，M7 Ultra 要到 2028 年。所以到 2027 年下半年，Mac Studio 大概率还是 M5 代。
六、2027 年会怎样（以下多为预测）
模型：两条线并存
按台数，主流会是一张 32GB 显卡装得下的 30B 左右模型，也就是 Qwen3.8-27B 这一类（据报道，阿里已预告 Qwen4 的 27B 档开放权重，单一来源）；按金额，主流是 128GB 以上才装得下的 Flash 档大 MoE。真正的分界线是内存容量，而不是稠密还是 MoE。四个趋势：
- 小模型追得很快。 今天的 Qwen3.8-27B（34 分）约等于 2 个月前的 753B 旗舰 GLM-5.2。同样的智能所需参数约每 1–2.5 个月减半；开源整体落后闭源 3–5 个月。
- Flash 档越来越大。 各家最高效的一档每次激活的参数稳定在 6–18B，但总参数上沿约每年翻倍，从约 120B 涨到 550B。DeepSeek V4.1 Flash 的主干约 300GB，已经超出 256GB——"Flash"不再等于"PC 能跑"。
- 负载在变：读入和思考更重。 思考模式想 1 万个 token，出字 20 tok/s 要 8.3 分钟，60 tok/s 要 2.8 分钟。Agent 让读入成为主要负载：激活 18B 的模型读 6.4 万 token 约需 2.3 PFLOP 的计算量，即使有 100 TFLOPS 的有效算力也要约 23 秒。
- 格式在收敛。 "专家权重 FP4 + 其余 FP8"成为官方默认的发布格式；线性注意力、稀疏注意力混合成为标配，KV 缓存不再是容量瓶颈；MTP 草稿头随权重一起发布。
各内存档到 2027 年下半年能跑到多聪明（Artificial Analysis 智能指数 v4.3.2；2026Q3 为实测，2027H2 为预测，依次是悲观 / 基准 / 乐观）：
| 内存档 | 今天能跑的最强（2026Q3） | 2027H2 预测 |
|---|---|---|
| 32GB 显卡 / 64GB | 34 分（Qwen3.8-27B） | 52 / 61 / 70 |
| 128GB | 40 分（Qwen3.8-Flash-Next） | 57 / 65 / 75 |
| 192GB | 42 分（GLM-5.3-Flash，要压到 4.25 bit 以下，很紧） | 58 / 67 / 77 |
| 256GB | 42 分（宽裕） | 60 / 69 / 78 |
| 参考：开源最强 / 闭源前沿 | 46 / 58 分 | 开源 62 / 71 / 80；闭源 73 / 80 / 85+ |
到时候各档的典型模型（预测）：32GB 显卡跑 30B 稠密模型，混合线性注意力、256K–1M 上下文、带 MTP；128GB 跑 200B 以内的小型 Flash 档；192GB 跑 300B 级 Flash（激活 15–20B）；256GB 跑 300–400B 级 Flash，精度更高、上下文更长。再往上的旗舰档是 5–10T 参数，本地放不下。
预测的假设：基准情形下闭源前沿每月涨约 1.5 分、开源落后 4 个月、各内存档的相对差距不变。最大的不确定性是 Qwen4 会不会按期开源，以及 Flash 档会不会涨到 450B 以上（那样 192GB 会退回 128GB 的水平）。
硬件：已发布、还没在国内上市的新品
规格来自厂商公告；性能和国行价格是按带宽和同类产品推演的。
- NVIDIA RTX Spark（笔记本、迷你主机）：10 月 8 日起在海外首批上市，国行未定。与 DGX Spark 同代的 GB10 设计：20 核 Arm + 6,144 CUDA 核，最高 128GB，273GB/s；笔记本芯片功耗 45–80W，系统是 Windows on Arm。推演：Flash-Next 出字 30–60 tok/s，读入要看 Windows 上能用什么引擎；128GB 版国行约 2.5–3.5 万元（预测）。
- AMD Ryzen AI Max PRO 495：9 月 4 日发布，海外整机 10 月起。最高 192GB，约 273GB/s，最多 160GB 分给 GPU，仍是 Zen5 + RDNA3.5 40CU。推演：速度约为 395 的 1.07 倍，国行整机约 3–5 万元（预测）。
- AMD Medusa Halo：传闻 2027 年以后，Zen6 + RDNA5 + LPDDR6。换成 LPDDR6 后，带宽有望明显提升（预测）。
- 国产新品：此芯 ClawCore-A（80 TOPS、64GB）原定 2026 年 6 月，至今未见发布；后摩下一代存算一体原计划 2026 年，也未见发布。此芯仍停在 64GB，跑不了 Flash-Next 级模型。
RTX Spark 和同名的 RTX 游戏本不是一回事。游戏本是"跑得快、装得少"：24GB 显存以内的模型和游戏都比 RTX Spark 快；RTX Spark 是"装得多、跑得稳"：能放下 100GB 级的模型，而且轻薄省电。它和 395 是同一类思路，区别是有 CUDA，并且做进了轻薄笔记本。注意它还有一档 18 核 + 5,120 CUDA 核、最高 64GB 的低配，跑不了 Flash-Next 级模型。
2027 年下半年各价位谁能跑出好体验
| 价位 | 今天（2026-09，实测） | 2027 年下半年（预测） |
|---|---|---|
| 1.5 万元以下 | 没有能装下 Flash-Next 级模型的机器 | 如果没有新玩家，仍是空白 |
| 1.5–3 万元 | AMD 395：出字勉强达标，长资料读入不达标 | RTX Spark 128GB（如果国行落在这个价位）；395 靠 MTP 等软件提速 |
| 3–5 万元 | DGX Spark、Mac M5 Max 128GB | 同左，外加 AMD 495 国行机型、M7 Max 笔记本 |
| 5 万元以上 | Mac M5 Ultra、RTX 5090 加大内存 | 同左；M7 Ultra 要到 2028 年 |
几个值得盯的信号：
- RTX Spark 128GB 的国行价如果不超过 2.5 万元，"128GB + CUDA"会成为 2 万元档的新标杆，395 整机首当其冲。
- MTP 进入 llama.cpp 主线，395 这类机器的实际速度会明显提升。
- GLM-5.3-Flash、阶跃 Step 5 这一级如果成为本地主流，128GB 就不够了，要 192GB 以上。
- Qwen4 各档按期开源（含 27B），单卡就够用的人会更多。
- 内存价格继续上涨，128GB 以上的机器会维持高价。
七、云端 Agent 来了，本地机器做什么
2026 年 9 月，云端 Agent 集体变成"每人一台云电脑、全天候在后台干活"：Meta Muse（09-08）、Manus 2.0（09-28）、OpenAI dots（09-29），国内也有阿里 JVS Claw、豆包云电脑。本地机器就得回答一个问题：为什么不直接用云端？
用户实际拿 Agent 做什么
宣传的是"替你下单、替你求职"，真实日志里大多数用量是读、整理和办公：
- Comet 真实日志（数亿条查询，哈佛与 Perplexity，2025-12）：生产力 36%、学习研究 21%、媒体 16%、购物 10%；下单类动作不到 1%，完成求职申请 2.3%。
- Claude Cowork 的 120 万次会话（Anthropic，2026-07）：业务流程 33%、内容创作 16%、软件开发 9%，九成以上与编程无关。
- 代下单在退潮。 OpenAI 收缩了聊天内结账，Walmart 的聊天内转化率只有跳回官网的 1/3。平台也在封堵：Amazon 9 月 20 日起封锁 Muse，eBay 禁止没有人工审核的代买 Agent。
- 国内的交易类任务已经被平台自家的智能体接住。 千问接入了淘宝、支付宝、飞猪、高德，元宝和微信"小微"走小程序和微信支付；第三方靠模拟点击代操作，被平台风控和新规一起收紧。
云端 Agent 也离不开本地
- dots、Cowork、Manus 的官方文档都写明：本地文件、本机应用、已登录的浏览器会话、VPN 和内网，必须连回用户自己的电脑才能做。
- dots 要求那台电脑一直在线、App 一直开着；Manus 说本机浏览器能避开验证码和异地登录校验，因为网站在拦截云端浏览器。
- 所以我的判断是：一台常开、低功耗的本地机器，正好可以做云端 Agent 的"本地执行端"。
本地的硬理由有六类：只存在本机的数据（文件、照片、证件、内部文档）；已登录的会话和真实设备；外设、局域网和内网系统；断网可用；不按量计费的算力；数据主权与合规。最常被提起的"隐私"，反倒可能正在被各家的机密云计算削弱。
| 用例 | 放哪 | 为什么 |
|---|---|---|
| 购物、订票、外卖、打车 | 云（国内在平台内） | 核心动作在线上：账号、支付、平台接口 |
| 账单、退订、理赔等生活行政 | 混合 | 执行在线上，但输入是最敏感的个人数据：本地先分拣、脱敏，只把最小授权交给云端 |
| 求职 | 混合 | 简历在本地；海投违反平台条款，招聘 AI 的监管也在收紧 |
| 本地文件、办公文档、编程 | 执行在本地，推理端云混合 | 文件、代码、密钥在本机；前沿推理仍以云为主 |
| 知识库、内网系统、经营数据 | 本地受益 | 云端碰不到内网 |
| 政务公文、热线、审批 | 本地（私有化）刚需 | 涉密不上网 |
| 智能家居 | 本地受益 | 局域网、低时延、断网可用 |
研究也支持"分工"：斯坦福的 Intelligence per Watt 研究里，本地 4–20B 模型能答对 88.7% 的单轮问题；Minions 让本地小模型读长文档、云端模型只做拆解和汇总，云端成本降 5.7 倍，质量保持在纯云端的 97.9%。
常驻后台，是本地的结构性优势
心跳、定时任务这类间歇调用，云端的提示缓存只保留 5 分钟到 1 小时，几乎每次都要重读完整上下文（约 10 万 token），命中率约 10–60%。本地能把缓存长期存在内存和 SSD 里，命中率可以到 90% 以上（推算）。有了持久缓存，每轮只需读新增的 1–5K token，按 Spark 级的读入速度（约 2,000 tok/s），首字等待约 0.5–2.5 秒；没有缓存时，每次重读 10 万 token，同样的速度要 50 秒（推算）。前提是本地推理软件支持把缓存长期保存——混合注意力模型还要在每轮结束时给状态打快照。
算账：本地机器能省钱吗
先看云端。按每天 2,000 万 token 的重度个人用户（全职编程 Agent 的水平，每月 25 个活跃日）、价格持平计算，同档国产 API 的 3 年成本取决于缓存命中率：
| 缓存命中率 | 同档 API 3 年成本（元） | 典型负载 |
|---|---|---|
| 90% | 0.27–0.56 万 | 编程 Agent（Claude Code 实测约 92%） |
| 70% | 0.62–1.24 万 | 多数编程工具（60–74%） |
| 50% | 0.97–1.94 万 | 浏览器 / 电脑操作（约 55%）、研究（约 50%）、文档与知识库（约 45%） |
| 30% | 1.32–2.65 万 | 普通对话（约 40%）、云端常驻后台（约 30%） |
"同档 API"指和本地模型同一智能档的 DeepSeek V4.1 Flash（分闲时、峰时）、Qwen3.8-Flash-Next、GLM-5.3-Flash，区间是四个价格的最低到最高。缓存命中率依据 Requesty 网关 2026 年 4 月的遥测（单一来源）和 Kimi 公开生产日志的复算。
再看本地。一台 128GB 的 395 迷你主机今天约 1.95–2.7 万元，按每天满载 8 小时、居民电价 0.55 元 / 度、每年维护 300 元、3 年后残值 20% 算，3 年总成本约 1.7–2.3 万元；DGX Spark（37,999 元）约 3.2 万元（推算）。
- 单人用、只看钱，本地机器大多比不过同档 API。 编程 Agent 这类高缓存负载，API 的 3 年成本只是一台 395 的零头；只有到 30% 这样的低缓存负载，两边才接近。
- 和海外前沿订阅比，本地便宜：$200 / 月的订阅 3 年约 4.9 万元，$100 档约 2.45 万元。但本地模型比前沿落后约 6–12 个月，不是同等替代。
- 多人共用时，读入速度就是成本。 读入越快，一台机器能扛的低缓存负载越多，越容易靠共用摊薄。
- 价格在两极分化。 同等能力的 API 成本每年降约 13 倍（Epoch AI），旗舰却在涨：智谱 API 近翻倍，Kimi K3 涨 2–3 倍。这笔账最好按季度重算。
所以本地的价值，主要靠钱以外的东西证明：
- 网络：本地占优，优势在可用性而不是速度。 国内云服务首字 1–3 秒；用海外服务要翻墙、境外支付，还有高峰限流和额度上限。本地局域网延迟不到 1 毫秒，同款模型的出字速度和云端 API 相当，能离线、能进内网。
- 能力：各有所长。 云端智能处于前沿、7×24 弹性，但碰不到本地文件、局域网设备和内网；本地能直接操作文件、NAS、打印机和内网系统，但模型落后前沿约 6–12 个月。长程编程、深度研究靠云，办公、知识库、流程类任务本地够用。
- 稳定性：本地占优，前提是默认配置安全。 DeepSeek 2026 年 3 月中断近 12 小时；美国出口管制曾让 Anthropic 对全体客户停用两款模型约 19 天。本地不受云端宕机和断供影响，但散热和安全要自己管：国家网络安全通报中心通报过，6,449 个活跃 Ollama 实例里 88.9% 没有任何防护。
- 隐私合规：本地占优，前提是最小权限、人工审批、审计日志。 企业用境外云端即数据出境，云端 Agent 代管账号凭证也出过数据外泄事件。本地数据不出域，但本地不等于合规：工信部对 OpenClaw 发过"六要六不要"的风险提示。
八、怎么选
先想清楚用途。主要写代码、做深度研究，前沿云端模型加一台本地执行环境更划算，本地大模型只是补充；数据不能出去、要离线或进内网、想让 Agent 7×24 常驻后台，本地机器才有明确的价值。
| 你的情况 | 建议 | 原因 |
|---|---|---|
| 主要跑 27B 这类 30B 以内的稠密模型 | 24–32GB 独显（4090、5090、R9700） | 带宽高：4090 开 MTP 约 109 tok/s；R9700（32GB，10,999 元）性价比最高 |
| 要跑 Flash-Next 这类 100B 级 MoE，预算 2–3 万 | AMD 395 128GB（装 Linux），或等 RTX Spark 的国行价 | 395 出字靠 MTP 勉强达标，长资料读入慢；写作时 RTX Spark 还没上市 |
| 要好体验，预算 4–5 万 | Mac M5 Max 128GB 或 DGX Spark | Mac：快、安静、有笔记本、MLX 生态；Spark：CUDA、读入强、能微调，但只能跑 Linux |
| 要跑 GLM-5.3-Flash 这一级（300B 级 MoE） | Mac M5 Ultra 256GB（官网选配价 90,499 元，未核实） | 唯一能以 4-bit 级精度单机跑的机器 |
| 只想要一台常开的 Agent 主机 | 低功耗小主机跑 OpenClaw 这类框架，模型调云端 | 现在最常见的用法就是本机运行、调用云端模型；推理不一定要在本地 |
| 政企、信创 | 目前还没有能跑 100B 级模型、有公开实测的国产整机 | 此芯 P1 带宽约 100GB/s，只适合 10B 以内；后摩没有公开适配这些模型 |
买之前核对五件事：
- GPU 实际能用多少内存，不是标称内存；
- 内存带宽，它决定出字速度；
- 读 3.2 万 token 要多久，它决定 Agent 体验；
- 跑分的测试条件：引擎、量化、MTP、prompt 长度、冷 / 热，缺一项就没法比；
- 软件生态：MLX 和 CUDA 最成熟，ROCm 在 Linux 上可用。不要看 NPU 的 TOPS。
按硬件档位选模型：
| 硬件 | 首选 | 备选 |
|---|---|---|
| 24–32GB 独显 | Qwen3.8-27B（Apache 2.0） | Gemma 4 31B / 26B-A4B |
| 128GB 统一内存（395 / Spark / M5 Max） | Qwen3.8-Flash-Next（自定义许可） | gpt-oss-120b（稳定的基线） |
| 192–256GB（M5 Ultra / 双机） | GLM-5.3-Flash（MIT） | MiMo-V2.6-Flash、DeepSeek V4 Flash |
| 64GB 以内（此芯 P1 等） | 10B 以内的小模型 | 30B 级、激活 3B 的 MoE |
主要来源
- 价格：什么值得买 · 395 迷你主机好价、什么值得买 · DGX Spark 好价、DGX Spark 产品页、Mac Studio 国行价格（IT之家）
- 实测：llama.cpp DGX Spark 官方基准、单台 Spark 跑 Flash-Next、MacStories M5 Ultra 评测、MTPLX 基准、Flash-Next 在 Strix Halo 上的实测（llama.cpp #27950）、本地模型社区实测汇总、MiniMax H3 在 DGX Spark 上的实测、MiniMax H3 在 395 上的实测
- Mac：Apple ML Research · M5 神经加速器、ANE 为何少用于大模型、Ollama 的 MLX 后端、M6 / M7 路线图（MacRumors）、中直机关笔记本采购结果
- 模型与趋势：Artificial Analysis 排行榜、Epoch AI · 开源与闭源的差距、Epoch AI · 同等能力成本下降速度、阿里云全栈 AI 路线图
- 新硬件：AMD PRO 495 发布、RTX Spark 与 DGX Spark 对比、后摩 M50 规格
- 云端 Agent：OpenAI dots、dots 帮助中心、Meta Muse、Manus 云电脑计费、Comet 日志研究、Claude Cowork 用途、ChatGPT 聊天内结账收缩（Modern Retail）、Intelligence per Watt、Minions
- 成本与稳定性：Requesty 缓存命中率遥测、DeepSeek API 定价、阿里百炼定价、DeepSeek 宕机（界面新闻）、Anthropic 停用两款模型的说明、工信部 OpenClaw"六要六不要"（科技日报）