把 AI 当工具用，瓶颈永远是发起的人
一个人握着缰绳，身前是一匹由机械和电路构成、正在向前奔跑的骏马——人掌舵，机器出力
硅谷101 最近这期，泓君请了 Creao 的三个创始人，聊怎么把一家公司改成一个由 AI 主导的组织。我来回听了两遍，感觉它把一件我一直觉得别扭、又一直没说清楚的事讲清楚了。
他们公司就二十五个人，CTO Peter 说 99% 的代码是 AI 写的。节奏大概是这样，一个功能上午十点写出来，中午跑 A/B 测试，下午三点看数据砍掉一半，五点又重写出一个更好的版本。放在以前的开发流程里，这么一圈大概要六周。但得先说清楚，99% 也好，每天部署三到八次也好，二十万用户也好，全是 Creao 自己报的，没有第三方审过他们的代码库和部署日志，这些数字当营销听、打个折就行。能信几成不知道，只能说数字打完折，背后那个逻辑还是成立的。
让我倒回去听了三遍的，是 CEO 程凯的一个说法。他说行业现在卡在两个坑里。一个是人还在一步一步地操作 AI 工具，这样生产力会撞到天花板。另一个是造工具的还只有人，所以真正的 AI 革命还没开始。这两句话把事情分得很干净。
把 AI 当工具用，瓶颈永远是发起的人
现在大多数人用 AI，是把它当一个更快的工具。写代码有补全，写文档帮你起草，做图一次出几版。每个人手里多了个外挂，效率确实涨了一点。但当工具用，流程就是人发起一件事，AI 帮你做快一点，做完了人再发起下一件。所以瓶颈始终是那个发起的人。一天就 24 小时，你手再快，能同时盯的活也就几件，就算每件事都快了十倍，你一个人的产出还是有个死上限。Creao 那边的说法是，把 AI 当工具用的人，提速最多也就十倍左右。
这个坑我自己踩过。两个月里我把自己的 AI 工作流推倒重来了四次，最早就是裸着用，主线程自己读文件、改文件、跑测试，活稍微大一点，context 就塞满了。后来想明白了，工具其实没问题，卡就卡在我自己还坐在发起的位置上，什么事都得过我这一道。真正解放出来，是从我不再亲手发起每一件事开始的。五个 agent 同时干活，我不再一行行地操作，改成看结果、定方向。到了这一步，产出就不是十倍不十倍的问题了。这其实就是程凯说的第一个坑，只要你还在一步步操作，产出就被你自己的时间卡死。
难的不是模型，是模型外面那层系统
那怎么跳出来？播客里反复提到一个词，harness（挽具），就是套在马身上、用来引导和约束它的那套装备。这个词最近在硅谷确实很火，但得先替清醒的人说一句，它没那么新。test harness、eval harness 这些说法老早就有，再往上还有中间件、平台工程，说的其实都是一件事，就是围着一个会动的核心，搭一套合理的工程环境。有个叫 Stuart Miller 的工程师说得挺直接，harness 这股热度会过去，可能十八个月以后就换成别的词，但这门老手艺一直都在。我觉得他说得对，但就算这样，底下那件事还是真的。
证据里最硬的是 LangChain 做的一个实验。模型完全不动，只改外面那层系统，同一个 agent 在 Terminal-Bench 上的分数就从 52.8% 涨到 66.5%，涨了接近十四个点。模型一个参数都没动，涨的这些全靠系统设计。OpenAI 自己也发过一篇工程博客，标题就叫 harness engineering。五个月，一行代码都没手写，搭起来一个内部产品，一百万行代码、一千五百个 PR，背后只有三个工程师在驱动 codex。文章里有句话我抄下来了，意思是人掌舵，agent 执行。还有一句说得更直接，难的不是 agent，是 agent 外面那层系统。
这才是「把 AI 当系统」的意思。调模型 API 谁都会，难的是围着它建一套能自愈、能自己迭代的系统。这和我之前折腾的那种 solo dev 工具层 harness还不是一个量级。我那个其实只是给我一个人提速，这个是把整家公司的工作流整个重做一遍。
把 AI 当工具的人被 24 小时锁死、封顶十倍；把 AI 当系统的人退后只给意图审产出，机器满负荷跑，才够得着百倍
人退到哪里去：给意图，审产出
系统转起来以后，人去哪了？播客里的说法是，人要从用 AI 工具的人，变成审 AI 产出的人，另外还负责给出 high-level 的意图。这也不是 Creao 一家的想法。Karpathy 去年在 YC 那场演讲讲得挺透。他说哪怕 AI 一下子给他吐出一万行代码，瓶颈还是他自己，因为他得确认这些代码没引入 bug、没有安全问题、做的是对的事。所以他说，AI 在做生成，人在做验证，你要做的就是让这个生成-验证的循环转得越快越好。他还给了个很具体的建议，别让 AI 一次吐一万行，把它拴在一个你看得过来的节奏上。他原话用的词是 leash，就是拴狗的那根绳。拿这个循环去套前面那两个坑，也套得上。还把 AI 当工具用的人，等于自己亲手泡在生成这一环里，24 小时就是这么被吃掉的。跳出来的人就不一样了，他把生成全交给 AI 去跑满，自己守在验证那头，给意图，收结果。
Ethan Mollick 说的是同一件事的另一面。他说以后最要紧的本事，会从写 prompt 挪到委派和编排上，也就是定义任务、划边界、给材料，然后验证产出。Peter 说得更直白。他是物理 PhD 出身，说读 PhD 教给他最有用的东西，是质疑假设、给论点做压力测试、找出还缺什么。所以在他看来，质疑 AI 的能力，会比生产代码的能力更值钱。
这和我之前写的道升术降是顺着同一条线往下走的。那篇说术在贬值、道在升值，这篇等于把道落到了具体的地方，一是你能不能给出好的意图，二是你能不能审出 AI 的错。我也一直觉得未来人更像是在管 AI，不是替 AI 干活。Anthropic 的工程文章还给这件事加了个特别具体的注脚。长任务 agent 有一种失败的方式，叫 declare victory early，过早宣布胜利，它跟你说搞定了，其实没搞定。人在这套系统里最替代不了的，可能就是当那个不会被假胜利骗过去的人。
验证这道关正在被淹没
但这套逻辑有个代价，得讲清楚，不然又成了一篇 AI 爽文。人退到审核的位置以后，审核这一关自己先被淹了。Faros AI 跟踪了一万多个开发者。用 AI 用得很重的团队，任务确实多完成了 21%，合并的 PR 差不多翻了一倍；但单个 PR 的体积涨了 154%，评审时间的中位数涨了 91%，bug 多了 9%，最后衡量真正交付速度的指标没动。到 2026 年的跟进数据里，评审时间涨到了 441%，连成熟团队都没躲过去。AI 把生成这头加速了几倍，验证那头还是人脑读代码的速度，两头的差距还在拉大。
生成端被 AI 加速了几倍，验证端还是人脑读代码的速度，代码越积越多，把守在审核位的人淹没
安全这块更难看。Veracode 拿八十个编码任务测了一百多个模型，接近一半的代码没通过安全测试，Java 最惨，失败率 72%。他们的结论挺扎眼，模型越做越大，写出来的代码语法是更对了，安全性却几乎没变好。所以这一关换个更强的模型也救不了，只能靠人，或者靠人设计的另一道验证系统。
还有个更打脸的数据。METR 去年做过一个随机对照实验，找了十六个资深开发者干真实的活，结果用 AI 的那组实际慢了 19%。可他们事前预测自己会快 24%，干完了还觉得自己快了 20%。我觉得真正要警惕的是这种感觉和现实之间的差距，因为包括 Creao 在内，所有自己报的百倍提速，底下都靠这种不太靠得住的自我感觉撑着。老实补一句，METR 今年的跟进数据反过来了，回来继续参加的开发者现在测出来是更快的。所以真正站得住的结论不是「AI 让你更慢」，是人对自己快慢的感觉确实会跟实际对不上，瓶颈也确实从生成挪到了验证。
真 AI-First 和假 AI-First
最后说说组织这层，这才是这期播客的题眼。现在一堆公司在喊 AI-First，里头其实分两种，差别大到没法放在一起说。
一种是真的在重构。Shopify 的 CEO 发过内部信，要加人之前，得先证明这活 AI 干不了，会不会用 AI 还进了绩效考核。Shopify 没裁员，反而定了个目标，把实习生项目从七十五个扩到一千个，理由是实习生最会创造性地用 AI。IBM 拿 AI 把 94% 的例行 HR 工作自动化了，砍了大概两百个岗位，但总人数反而涨了，省下来的三十多亿美元生产力收益投回了工程和销售。
另一种是拿 AI 当裁员的理由。Klarna 是最经典的反面教材。它的客服机器人当年号称能干几百个客服的活、省下几千万美元，两年后 CEO 自己承认，公司把成本当成了压倒一切的标准，结果换来的是质量变差，只好又把人请回来。Forrester 直接管它叫「糟糕 AI 部署的活教材」。Gartner 预测，到 2027 年，因为 AI 裁员的公司里会有一半重新把人招回来，而且经常还得给这个人安个管 AI 的新头衔。当年大家一窝蜂把外包当万灵药，最后返工花的钱更多，走的也是这个剧本。
这两种公司差在哪，其实还是程凯说的系统和工具的差别。真在重构的公司，是把工作流重新设计了一遍，省下来的人力挪去干更值钱的事。另一种只是拿 AI 当裁员理由，砍完发现质量崩了，再花钱把人请回来。所以想看一家公司是不是真的 AI-First，别听它喊得多响，看它省下来的人力去了哪，是投回了增长，还是直接落进了利润表。
判断真假 AI-First 的分岔：省下来的人力要么投回增长，要么落进利润表——落进利润表的那条路最后又得把人重新招回来
回到开头那两个坑。工具那条路我自己走过，提速是真的，天花板也是真的，一天就 24 小时摆在那。系统那条路才有机会摸到百倍的量级，但它没有播客里听着那么爽。harness 这个词会过时，自己报的数字要打折，验证这一关正在被淹没。我只能说，正因为验证跟不上，人退后去做的那两件事，给意图和审产出，反而越来越值钱。生成快要不值钱了，这点我现在挺确定；可审这一关自己怎么跟着提速，我还没看到谁讲清楚。
