本地推理：模型、边界与敏感数据

一家企业不能把某些数据发送给外部服务。它有报告、档案或内部文档，希望对其分类、总结，或转换成结构化信息。于是一个问题越来越常见：能否像安装普通软件一样，把 AI 模型装在自己的电脑上，并在那里完成这些工作？

诚实的答案没有那么痛快。对于边界清晰的任务——文档分类、字段提取或生成第一版摘要——答案可能是可以。至于在普通笔记本上安装一个“私人 ChatGPT”，并期待它以同等质量和速度处理几乎任何事情，答案通常是不可以。

这两个极端之间的空间正在迅速扩大。本地运行并不保证模型足够好、速度足够快，也不保证整个系统符合法规；但今天也不再总是需要实验室级设备才能获得实际价值。

不久前还显得庞大的模型，经过量化后已经能装进消费级 GPU。另一些拥有 40 亿到 120 亿参数的模型，也能在笔记本上完成具有真实业务价值的特定文档任务。

Apple 在 8 月发布的两台机器，很直观地说明了这个概念的跨度。M6 Mac mini 最高配备 32 GB 统一内存；M5 Ultra Mac Studio 则最高达到 512 GB，内存带宽为 1.2 TB/s。前者覆盖中小模型，后者能把数千亿参数的权重保留在内存中。这个比较说明：“可以在本地运行 AI”仍不足以支撑一个架构决策。

问题已不再是 AI 能否在本地运行，而是：哪项任务、允许多大误差、处理什么数据、需要多快速度。

“本地运行模型”到底是什么意思

模型在训练阶段学习数百万乃至数十亿个数值，也就是权重。它们是学习的结果：无数细小的数值调整组合起来，决定模型面对输入时会给出什么答案。训练一个通用模型仍需要庞大的基础设施。推理则不同：它是加载已经学好的权重并加以使用，而不是重新训练模型。

下载开放权重模型，再用 llama.cpp、Ollama 或 LM Studio 打开，推理就可以完全发生在自己的设备上。文本不必发送到模型开发者的服务器。做原型时，这很像安装应用：下载程序、选择模型、开始对话。

不过，“本地”通常混合了三种部署方式：

端侧运行：模型运行在某个人的笔记本或手机上；
本地部署（on-premises）：模型运行在组织控制的服务器上；
私有云：基础设施位于远端，但被隔离，并按照企业的条件运营。

三者都可以避免把数据发送给公共 API，但保障并不相同。本地应用仍可能保存历史记录、下载组件、发送遥测，或把文件夹同步到外部备份。模型可能在办公室里，而 OCR、向量数据库或可观测性系统仍在外部。

本地推理只说明模型在哪里运行，并不说明数据完整链路在哪里。

模型能运行，不代表流程可行

针对一个具体流程，需要分别回答三个问题：

模型和真实上下文能否放进受控基础设施？
延迟和并发能否满足预期工作量？
结果能否达到事先定义的质量与错误阈值？

只有第一个问题可以从内存需求中估算。它只能证明模型能加载，不能证明流程有用。

第一个问题可以估算。一个 270 亿参数模型如果为每个权重保留 16 位——16 个二进制数字——大约需要 54 GB。量化通过减少表示这些数值的细节来节省空间，可以把它理解为给数百万个数字做取舍式的四舍五入：模型变小了，也可能损失一些精度。4 位时，理论值约为 13.5 GB，但实际文件和运行环境还需要额外空间。

Qwen 3.8 27B 很能说明变化。原始权重占 55.6 GB；Simon Willison 使用的 Q4 版本——每个权重约量化为 4 位——约为 17 GB，已经能在个人硬件上分析图像、生成代码，并请求其他工具执行操作。但这不意味着 17 GB 总内存就够了：应用、操作系统、中间计算和上下文记忆也需要空间。

上下文窗口尤其容易造成误解。它指模型回答时可以同时记住多少文本，单位是 token，也就是模型切分文本后得到的词语片段。模型可以标称 12.8 万或 25.6 万 token，却未必能在笔记本上合理使用这么长的输入。对话越长，模型就要留出更多内存保存这些片段，读取完整输入也需要更长时间。规格表里的最大上下文，不等于系统实际可用的上下文。

延迟和同时服务多个请求的能力，很大程度取决于内存带宽。容量决定权重能不能放下；带宽决定处理器能多快把它们读出来。这就像书架能放多少书，与我们能多快把书取下来，是两回事。生成时，设备要反复搬运相当一部分权重。因此，即使容量都够，拥有高速显存的 GPU 通常也比 CPU 快得多。Apple Silicon 和部分 AMD 处理器的统一内存让 CPU 与 GPU 共享同一个内存池；独立 NVIDIA GPU 往往更快，但受自己的专用内存 VRAM 限制。

llama.cpp 还可以把模型分配到 CPU 和 GPU。这对试验有用，但通过总线从系统内存读取权重可能大幅降速，让结果无法代表需要交互响应或并发的真实流程。

这些数量级可以帮助判断每种环境适合进行哪一类试验：

环境中的可用内存	通常能放下的量化模型	可以验证什么
16 GB、无独立 GPU	2B–8B；紧凑配置下可尝试 12B	分类、简单提取，以及离线流程是否可行。CPU 处理长文档可能较慢。
32 GB 内存或统一内存	8B–14B 较舒适；20B–27B 需要妥协	在真实文档上验证质量、RAG——回答前先从内部文档检索相关片段——和结构化输出，并发能力有限。
12–16 GB VRAM 的 GPU	8B–14B 可完整放入 GPU；部分约 20B 的 MoE	交互延迟与中等上下文。27B 通常需要更强量化或 CPU 卸载。
24 GB VRAM 的 GPU	4 位的 20B–32B	更强模型能否把错误降到足以抵消延迟和运维成本。
64–128 GB 统一内存或多块 GPU	70B 以及经过激进量化的部分更大 MoE	在专用基础设施上验证鲁棒性、上下文和复杂任务；性能高度依赖架构。
192–512 GB 统一内存或多 GPU 服务器	100B 以上模型和大型量化 MoE	工作站的技术边界，不应成为企业流程设计的起点。

NVIDIA DGX Spark 或采用 Ryzen AI Max+ 395 的设备拥有 128 GB 统一内存，能够加载更大的模型。NVIDIA 宣称可运行至 200B，AMD 也展示过 128B 模型。但这证明的是内存容量，不是交互体验：能加载 100B 模型，与愿意全天使用它，是两个不同问题。

Apple 的新产品线也有助于区分容量与速度。M6 Mac mini 最高提供 32 GB 和 170 GB/s；相同外形的 M5 Pro 版本达到 64 GB 和 307 GB/s；M5 Ultra Mac Studio 则升至 512 GB 和 1.2 TB/s。更新的芯片不会消除物理限制：权重放不进内存就是放不进。Apple 于 2026 年 8 月 25 日发布这些设备，并将于 9 月 22 日开始交付，因此 M5 Ultra 的数据目前仍是厂商规格，而不是独立用户体验。

同等能力所需的基础设施越来越少

参数数量早已不是衡量能力的充分指标。数据质量与组成、模型架构、后训练、强化学习，以及面对困难问题时投入更多推理计算的能力都很重要。

模型所处的时代也很重要。Stanford AI Index 给出过一个直观比较：2022 年，MMLU 超过 60% 的最小模型有 540B 参数；到 2024 年，Phi-3 Mini 用 3.8B 参数达到同一门槛，参数量缩小了 142 倍。MMLU 并不等于企业真实工作，但边界移动的幅度非常明确。

Epoch AI 的分析估计，算法改进大约每八个月就把达到同一预训练性能所需的计算量减半。这个估计有较宽的不确定区间，而且大量整体进步仍来自更多数据和算力。但它有助于解释：今天的 8B 模型和两年前的 8B 模型，不能只凭参数量直接比较。

效率提升来自多个方向：

更好的数据与后训练，让每个参数发挥更大价值；
量化降低内存和带宽，质量损失则取决于模型与任务；
mixture of experts 架构把模型分成多个专门小组，每个 token 只调用其中一部分，但所有小组仍要保持加载；
推测解码由较轻的机制先提出多个 token，再交给主模型验证；
运行模型的程序会更充分地利用 GPU、统一内存与 NPU；NPU 是专门加速 AI 运算的芯片；
专用模型放弃“什么都能做”，用更少资源稳定完成单一功能。

MoE 也带来常见误解。gpt-oss-20b 总共有 21B 参数，但生成每个 token 时只使用约 3.6B。它每次只让一部分模型工作，却仍要把完整模型留在内存里：量化权重文件仍有 12.8 GB，OpenAI 给出的最低系统内存约为 16 GB。Gemma 4 26B A4B 同样如此：每个 token 使用 4B，但 26B 都必须保持加载，系统才能快速选择要调用哪些小组。

哪些任务值得测试

基准测试是用于比较模型的标准化试题，适合淘汰选项、观察进步，却不善于回答这些问题：系统能否从我们的报告中正确提取二十个字段？能否连续处理一万份文档并保持相同的输出格式？信息缺失时会不会拒绝猜测？

真实能力的边界并不平滑：

大致模型级别	适合纳入试验的任务	需要测量的风险
2B–4B	分类、改写、简单提取、自动补全、本地命令和高度重复任务	长指令、歧义、多步推理和长文档忠实度
8B–14B	摘要、结构化提取、草稿、RAG、文档问答、分析脚本和基础视觉	长工具链、低频例外，以及要求可靠专业知识的决策
20B–32B	有能力的通用助手、限定仓库内的编程、视觉、工具调用和多步分析	长时间运行的代理、普通硬件速度，以及与最佳托管系统相当的可靠性
70B 以上	在开放和复杂任务上通常更稳健	成本、延迟、运维，以及仍会产生看似可信的错误

这些区间会重叠。针对特定分类微调的 4B 模型，可能优于通用 27B。量化不当、对话模板错误或上下文不足的大模型，也可能不如正确部署的小模型。

当前模型可以帮助我们理解这些区间，但不能替代评估。

Gemma 4 12B 按 Google 的数据，Q4 权重约需 6.7 GB，尚未包括上下文和运行时。它能接收文本、图像和音频，Google 也展示了在 16 GB 设备上进行本地文件分析。这证明多模态原型可以装进常见硬件，但不能证明它会以所需可靠性遵守我们的 schema、工具与例外规则。

gpt-oss-20b 约需 16 GB，只处理文本，面向推理、结构化输出和工具使用。其 MoE 架构使计算量相对较低。它适合受控流程，但仍需要集成层来真正实现工具。下载权重本身不会自动带来搜索、代码执行或文件访问。

Qwen 3.8 27B 是 20B–32B 这一档的有用参照。它支持多模态，采用 Apache 2.0 许可证，约 17 GB 的量化版本可以放入 24 GB GPU 或具有足够统一内存的设备。Willison 的测试中，它能够检查代码仓库、构建并测试工具、定位图像对象并驱动编程代理，速度为每秒 15–30 token——这是答案出现速度的指标，不是智能水平。这些结果证明了真实能力；流程可靠性仍要在自己的案例上测量。

DeepSeek V4 Flash 展示的是另一个极端：它是一项依赖特定硬件、量化方案和运行时的技术演示。这个 MoE 总参数为 284B，每个 token 激活约 13B，标称上下文窗口为一百万 token。实验性的 2.44 位 MLX 量化版本占用 92.8 GB，在配备 128 GB 内存的 M5 Max MacBook Pro 上、短上下文条件下达到约每秒 32–36 token，但相较托管模型有明显质量损失。接近 4 位的版本约为 150–170 GB。因此，它不是默认的本地模型选择，而是说明一台工作站今天最多能走到哪里。

这两个例子代表不同的架构决策，而“本地 AI”这个说法很容易把它们混为一谈。

社区反馈同样有价值。一些用户在 RTX 3090 上完成了数十次工具调用的流程；另一些用户认为它更接近优秀的中端托管模型，而不是最前沿系统，并在代码审查中发现重要错误。这种差异恰恰来自任务、提示、量化、运行时和工具的不同，而自己的评估必须把这些变量固定下来。

对企业真正有效的测试，最终只能是自己的真实案例集，其中要包含低频情况和代价高昂的失败。

一个例子：不让医疗报告离开组织就完成分析

假设目标不是诊断，而是把格式不一的报告转换成可审核字段：日期、科室、用药、检查项目以及病史引用。

原型可以只是把 PDF 拖入本地应用并要求总结。生产系统则需要拆分职责。首先，OCR 把只有图像的页面转换成文字；随后，模型以 JSON 返回字段，这是一种便于其他软件读取和校验的结构化格式：

文档
   ↓
本地 OCR 与文本提取
   ↓
本地模型 → JSON + 每个字段对应的原文片段
   ↓
确定性校验
   ↓
人工审核错误和不确定情况
   ↓
组织的正式记录系统

当报告中没有某个值时，系统应允许模型返回 null，并要求提供来源片段。日期、代码和格式再由传统规则验证；同样的数据每次都会得到同样的结果。可疑案例应通过外部检查进入人工复核，不能只相信模型回答时表现出的“自信”。代表性样本可以用来测量准确率，尤其要测量假阴性：报告里明明有、系统却没有识别出来的信息。

如果 schema 稳定、文档可预测，8B 或 12B 可能已经足够。27B 可以改善复杂指令、困难文档和例外情况，但会降低速度与并发。在明确误差容忍度之前就确定基础设施规模，顺序是反的：先定义可接受误差，再测试能达到要求的最小模型。

这个例子也说明，隐私不只取决于 LLM。OCR、临时存储、日志、界面、备份和最终数据去向都必须检查。

本地运行减少一处暴露，但不会创造法律豁免

数据不离开受控基础设施，可以减少一个重要风险：把信息交给第三方。法国 CNIL 建议，在输入个人数据或敏感文档时，考虑安全、专用的本地方案。但它并没有说安装模型就完成了合规。

即使没有互联网，处理个人数据仍然是处理个人数据。组织仍需明确目的、法律依据、数据最小化、保存期限、访问控制、安全措施以及个人权利机制。健康数据还属于 GDPR 第 9 条的特殊类别。根据规模、风险与用途，可能需要数据保护影响评估。

还要分清三个法律层面：

模型许可证。 权重可以下载，不代表没有条件。Qwen 3.8 和 Gemma 4 使用 Apache 2.0；gpt-oss 将 Apache 2.0 与使用政策结合。其他模型可能有社区许可证、再分发限制或禁止用途。从第三方下载的量化版本必须保留并记录正确许可证。
输入数据保护。 GDPR 关注目的与处理方式，不关心 GPU 在哪个国家制造。历史记录、embedding——为便于检索而生成的文档数值表示——和指令日志也可能包含个人数据。
系统及用途监管。 AI Act 按预期用途分类。帮助人总结文档，与推荐治疗或成为医疗软件并不相同。医疗器械、安全组件或参与特定决策的系统，可能受到高风险义务和行业法规约束。

AI Act 对部分自由开源软件的豁免也不是通行证。禁止、高风险或有透明度义务的系统不会以同样方式获得豁免。

医疗、招聘、金融或法律场景中的审查必须覆盖完整系统及其用途。问题不只是“Qwen 使用什么许可证”，而是“我们的流程作出什么决定、使用什么数据、由谁负责”。

下载权重不等于生产系统

打开聊天窗口很简单，之后的工作并不简单。

企业可能需要身份认证、用户权限、加密、网络隔离、密钥管理、队列、使用限额、可审计轨迹、模型更新、回归测试和回滚程序。如果多人共享一台工作站，还要考虑并发：单次对话很快的机器，面对十个请求时可能明显退化。

开放权重模型周围通常也缺少完整产品。ChatGPT 不只是一份权重文件，它还包含搜索、工具、过滤器、执行环境、上下文管理、基础设施与更新。在本地，这些组件需要有人选择、构建并维护。

这种控制本身正是价值的一部分。团队可以固定版本、阻止网络外发、观察每次调用，并移除不需要的能力。但成本会从按 token 计价，转移到硬件、电力、集成、安全与运维。

什么时候适合纳入架构

本地推理通常在多个条件同时满足时有意义：

数据敏感，或有严格的数据驻留与控制要求；
任务定义清楚，可以用真实案例评估；
本地模型达到所需质量，即使它不是市场上能力最强的模型；
用量稳定，足以利用硬件；
离线工作、降低网络延迟或固定模型版本有明确价值；
组织有能力运营系统并负责更新。

如果使用零散、始终需要最高能力、最新知识至关重要，或没有团队维护基础设施，本地部署往往不划算。合同与配置完善的企业 API，可能比临时拼装的本地服务器更安全。物理位置不能替代严谨架构。

很多场景会采用混合设计。小模型在本地分类、起草或去除身份信息；困难案例再转到私有云中的大模型，或在法律允许时使用外部服务。文档检索保留在本地，只升级真正必要的部分。

这不是“云端还是主权”的意识形态选择，而是基于风险、质量、延迟和总成本的架构决策。

真正正在发生的变化

最重要的趋势，不是笔记本将运行世界上最强的模型。前沿模型也会继续扩大，在回答时投入更多计算，并整合任何笔记本都无法复刻的系统。

真正重要的是：企业认为“足够好”的能力，每年都能装进更小的模型。

我们会看到更多从一开始就为设备设计的模型：更少的激活参数、训练阶段就考虑量化、更小的上下文记忆，以及一次预测多个 token。硬件厂商会增加共享内存和带宽，推理程序也会更好地利用 GPU 与 NPU，而不需要每个项目自行开发针对特定硬件的优化。

我们也会看到更少的通用本地聊天，更多隐藏在产品里的功能：分类事故、提取发票、搜索文档、准备回复，或转录并整理会议。一个可预测地完成单一任务的小模型，可能比演示中令人惊叹的通用助手更有价值。

对企业而言，最有意思的变化将发生在架构上。一部分推理会靠近数据，成为应用的一层；大型模型则成为处理例外的升级路径，就像今天不会把所有处理都交给同一个数据库或服务。

本地推理不会消除 AI 的困难问题，只会改变最先出现的问题。我们不必再先问有没有机器能运行模型，而可以从那个本来就应该排在最前的问题开始：

流程中的哪一个具体部分值得交给这个模型？我们又如何知道它何时出错？

“本地运行模型”到底是什么意思

模型能运行，不代表流程可行

同等能力所需的基础设施越来越少

哪些任务值得测试

一个例子：不让医疗报告离开组织就完成分析

本地运行减少一处暴露，但不会创造法律豁免

下载权重不等于生产系统

什么时候适合纳入架构

真正正在发生的变化

来源

继续阅读

为什么 AI 在某些任务上似乎突然变强

从补全一句话到接手一项工作：我们对 AI 的期待

从鹈鹕到 Blender：那些荒诞测试讲述的 AI 进化史

由你决定我们可以衡量什么