演示是跑通了。上线是另一场对话。
AI 的 PoC 只能证明想法可行。它证明不了这套系统扛得住客户的数据、客户的权限、客户的数据量和客户的安全评审。下面是通常会缺的那些东西——写出来就是为了让你当成检查清单用,哪怕你从不联系我们。
如果项目属于你的客户,看看我们如何与咨询公司合作几乎总是缺的东西
- 01
没办法判断它答得对不对
没有自动化评测,质量只能靠手工试几条再凭印象判断。换提示词、换模型、换数据,每一次都是赌一把。你需要带标准答案的测试用例、每次改动都跑一遍,还要有一条低于它就不许上线的门槛线。
- 02
没人能解释某一条具体回答
当客户追问智能体为什么这么说,你必须能把过程还原出来:取了哪些数据、用的是谁的权限、发出去的是什么提示词、由哪个模型版本作答。没有这条链路,既无从审计,也无从修正根因。
- 03
PoC 的权限不是客户的权限
原型通常把整个语料库都读一遍。到了生产环境,不同用户必须看到不同内容,而且过滤要发生在检索环节,不是写在提示词里。多数项目正是卡在安全评审的这一关。
- 04
花费和延迟都没有上限
单任务成本和响应时间,往往要等到有人真掏钱或真受罪了才被拿出来看。你需要限额、告警,以及一个明确决定:触到上限时,先降级哪一部分。
- 05
退不回去
如果部署不可复现、又没有回滚,那实际上每一次改动都是不可逆的。要有 Azure 上的基础设施即代码、相互隔离的环境,以及一条验证过的退路。
- 06
它自己犯错,底下没有网
在出错要付出金钱或声誉代价的地方,决定应由人来批。这条边界画在哪里是业务决策而非技术决策,最好在系统开放之前就定下来。
拿走它,哪怕你不联系我们也照用不误:打印版收录全部六点,并留出空白供你标注哪些已经解决。
放我们进门之前,你的客户会问这些。
当项目属于某个终端客户时,他们安全团队里总会有人来审这一项项。我们在开工前就把它们写下来,让你可以直接拿出来,而不必临场发挥。
-
最小权限,环境事先约定
我们只用刚好够完成手上这块工作的权限,并在双方约定的环境里操作。不用共享账号,也不会为了“跑快一点”开放不必要的权限。
-
客户的权限在检索环节生效
不同用户看到的内容不同,而过滤发生在取数据的时候,不是靠提示词来约束。多数项目正是卡在安全评审的这一关。
-
每条回答都能复盘
取了哪些数据、用的是谁的权限、发出去的是什么提示词、由哪个模型版本作答。没有这条链路,既无从审计,也无从修正根因。
-
AI 工具碰哪些数据,写成文件
若涉及第三方模型,我们会事先界定哪些数据可以使用、用在哪里、边界在哪,格式可直接转给你客户的安全团队。
-
护栏,以及在花钱的地方留人工把关
成本与延迟上限并配告警,还有一条明确的边界:哪些由智能体自行决定,哪些必须经人审批。这条边界是业务决策,要在系统开放之前定下来。
-
保密与禁止绕开条款均已签署
如有需要,可在你透露细节之前先签 NDA;禁止绕开条款也落书面:项目期间和结束之后,我们都不会自己去向你的客户售卖任何东西。
-
代码从第一天起就是你的
它存放在你指定的仓库里,不在我们这里。收尾时留下运维手册、评测报告和交接会:运维已交付的系统,你不需要依赖我们。
如果你的客户硬性要求某项资质或某个官方合作伙伴,请在第一次沟通时告诉我们:那时知道,好过项目做到一半才发现。
我们怎么做
我们不推倒重来。先评估现有的东西,明确哪些保留、哪些重写,再按里程碑锁定范围,验收标准在开工前就写好。如果底层思路撑不住,我们会在签约前说,而不是做到一半才说。
告诉我们已经建了什么、跑在什么数据上、什么时候必须上线。30 分钟内,我们会给你一张风险地图和一个明确判断:还差什么。
三次交付:背景与结果聊聊你的项目?
30 分钟里,我们一起过一遍:你想建什么、现在跑着什么、数据和集成的情况,以及用户真正进来之后还缺什么才撑得住。项目是你自己的还是你客户的,都一样,这通电话没有区别。
30 分钟免费评估,不设任何前提。如有需要,可先签 NDA。下一个工作日内回复。