AI 也在降低坏事的组织成本

最近读了 Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI》。一共 154 页，从网络攻击写到舆论操纵、监控、诈骗，再写到武器相关活动、生物研究风险和未经授权的模型蒸馏。

读的时候，我一直看到一些做 agent 的人很眼熟的做法。经验写下来，下次接着用；几个任务并行跑；失败了修一下再试；让系统定时自己接着干。我们平时拿这些方法少干点重复活，报告里的操作者也在用一模一样的方法。

感觉这点得单独拿出来说。一个人能从 AI 那里问到多少知识，跟一个小团队能不能靠它长期跑一套复杂业务，完全是两码事，而报告里的 AI 已经在帮人干后面这件了。它帮人把活拆开，把材料串起来，把每天都得重复做的事一直做下去。这些本事拿去做坏事，一样好用。

但是先说清楚这些证据是哪来的。下面的案例都是 Anthropic 自己调查后写出来的，我手上没有它的原始日志，归因也没法自己独立复现一遍。报告第 3 页说得很直白，这些案例是它专门挑的，挑的是够显眼、够新的，平时大家怎么用 AI 不是这个样子，更不能拿它去算所有用户里有多少人在滥用。报告写的是 2025 年 12 月到 2026 年 8 月之间，被发现、被处理掉的一批活动。

有些原来不值得做的事，现在可能做得起了

网络攻击那部分有一段很值得读。报告第 39 页说，这些案例用到的很多攻击手段其实都很常见，还是泄露的凭证、没打补丁的系统、暴露在外面的服务这些老问题。变的是操作者要花多少人力，一次能同时盯多少个目标。我觉得这比“AI 又发现了多少新漏洞”更像一个算生意账的问题。

人手少的时候，就算知道某个目标有机会，也不一定值得接着投人进去。因为收集材料要时间，写工具要时间，处理结果也要时间。事情一多，还得有人记着做到哪了，哪些结果查过了，哪些还要接着跟。

如果其中一部分活能交给 agent，一个操作者就可能同时跟更多的事。以前赚的钱抵不上人工的目标，现在可能就值得试一试了。这个经济上的道理是我顺着报告里的案例推出来的，报告自己并没有算过整个黑产行业的成本到底降了多少。

我之前写repo 为什么会成为 agent 的接口，聊过把工作规则和知识放到 agent 读得到的地方。报告里的人也是这么干的，只是拿去干了别的事。经验可以一遍遍拿出来用，活可以交接，操作者不用自己记住做到一半的每一个状态。报告第 42—43 页讲影响力行动的时候，也写到了他们反复用的规则文档、任务安排和一直保留着的记录。

当然，也不是谁用上 AI 就有了国家级组织的本事。账号、钱、现实里的关系、数据从哪来、能动用什么权限，这些差得还很远。但反过来，看到一套工具写得复杂、跑得整齐，就认定背后肯定有个大团队，这个判断以后可能越来越靠不住了。

防守的一方也可以记一下。老问题没有因为有了 AI 就过时，反而可能被人更快地用起来。凭证真泄露了就赶紧处理，访问范围收窄，已知漏洞补上，这些基础活还是很具体、很实在。至于 AI 最后是帮攻击方多一些还是帮防守方多一些，这份报告只挑了一些案例，回答不了。

一段正常对话，也可能属于一门骗人的生意

诈骗那一章我觉得最能把这个问题讲清楚。按 Anthropic 第 139—141 页的说法，有一家工作室用 claude 开发并运营了二十多个交友应用，对外说是真人在聊，其实是 AI 角色和真人混着上。调查人员在 2026 年 4 月观察了两周，发现了超过 4,700 个 AI 角色，和至少 25,000 名不同的用户聊过。这些数字能看出这门生意做得有多大，但拿它算不出有多少人付了钱被骗，报告也没说每个人到底亏了多少钱。

报告说，单独抽一段对话出来看，跟普通的角色扮演或者陪伴应用没什么两样。谁在骗谁、钱怎么收，在那一段对话里根本看不全。可偏偏就是这些模型不知道、或者知道了也没因此停下来的整体情况，决定了这个产品对用户来说到底是个什么东西。

所以光看每句话有没有违规，远远不够。应用是怎么跟用户解释对面是谁的？用户有没有同意过自己的数据被这么拿去用？系统在替谁说话，又让用户信了什么？这些问题得同时去看产品界面、它给用户的承诺和它实际上怎么跑，才看得出来。

这个案例里也能看出，“有人参与”这句话说明不了多少。有真人聊了一部分，其他身份照样可以是假的，那些真人也不见得是在保护用户。人可以在里面把关，也可以在里面帮骗局接着圆下去。所以听到 human-in-the-loop，最好再追问一句，这个人到底站在谁那边，他又有权拦下什么。

正经做 AI 陪伴产品的，也可以直接拿这个对照一下自己。用户得清楚自己在跟什么东西聊，也得知道自己的信息被拿去干了什么。如果整个界面一直在让人误会，靠模型偶尔说一句自己是 AI 是补不回来的。这个承诺得由产品自己兑现。

封账号之后，已经写出来的软件还在

报告第 104—105 页有个案例，我觉得最能看出模型平台到底能管到哪。Anthropic 说，有个替马里安全部门干活的操作者，靠 claude 帮忙做软件设计和工程，搭了一套通信监控平台。报告还提到，里面有个自动生成个人档案的组件，本来要授权才能用，后来按操作者的要求把授权去掉了。

这段我想说的是权限怎么被改掉的，系统具体怎么收集数据就不用复述了。一个系统能做某件事，和允许谁拿它去对付什么人，得分开来管。代码跑通了只说明前一件事做成了，后一件事还得有人来判断。

下一页把平台能管到哪说得更具体。报告说，这个平台最后部署在本地，用的是本地模型。封了账号，确实打乱了操作者后面的软件设计和开发，但已经部署好的平台并没有因此停下来。

封禁账号可以切断后续模型服务，但不能自动停止已经导出并在本地运行的软件

所以看到“disrupted”这种词，得看它在这个案例里具体指什么。有时候断掉的是对方接着调用模型，有时候断掉的是后面的开发支持，有时候还得拉上别的平台、基础设施提供方或者现实里的机构一起处理。不管是哪种，都不能读成受害者已经没事了。

我会把几个阶段拆开来看：

我不是说封号没用。封号能让对方多花成本，还没做完的项目也可能因此做不下去。但报告写到哪一步的效果，就只能算到哪一步，不能顺手把后面的结果也算到自己头上。

生成了很多内容，和说服了很多人，中间还有一段

影响力行动那一章有个结果很容易被跳过去。第 43—44 页写到，被发现的内容大多没什么真实互动，有的干脆一点都没有，还有些活动没攒起受众就被处理掉了。真正让不少真人看到的那几个案例，往往是借了现成的媒体渠道。

所以写东西是便宜了，可让人看到、让人信，还是一样难。一个系统写得出一大堆文章，可未必有人读。有人看到了，也可能根本不信。就算信了一点，也不一定会因此去做什么。

报告里用了一套传播分级，主要是用来描述内容传到了哪些平台、在公共空间里传开了多大范围。它量不出有多少人改了看法，光靠它更证明不了哪次选举或者哪项政策是因为这个才变的。

所以我的看法是，AI 很可能让做内容、做日常运营都便宜了，但最后能有多大效果，可能还是卡在现成的分发渠道、身份和信誉、现实里的组织关系上。这事可以接着看，但现在就断言“任何人都能靠 AI 操纵舆论”，明显说早了。

武器和生物研究也得这么分开看。报告里的武器案例，有的只是讨论方案，有的做了仿真或者写了软件，也有报告说已经拿去实地测试的，走到的程度差得很远。聊过某种能力、写出了相关代码，跟真的部署了管用的装备，完全不是一回事。

生物那一章自己就说得更清楚。第 130 页说，涉及的都是在职的研究人员，Anthropic 没说他们想害人。第 137 页也没把这些案例当成生物威胁已经迫在眉睫的证据。这一章真正在讲的是，双重用途的研究很难分清是拿来干什么的，现有的访问控制也还不够。读这些案例得把这些前提一起带上，别最后只记住了几个最吓人的词。

用户以为发给谁，也需要能核实

最后一章讲模型蒸馏，很容易被当成几家公司之间抢生意的故事来读。我更在意的是里面牵涉到普通用户数据的那部分。

先把概念说清楚。报告第 143 页自己也承认，distillation（蒸馏）本身就是一种正常的训练方法。它指控的是有人没经授权，靠欺诈或者绕开访问控制，大规模地往外提取。所以不能一看到蒸馏这个技术名词，就直接当成违法。

报告接着指称，一些被调查的实体和中间服务，会把用户和模型之间的交互转发出去、存下来，或者拿去再用，里面有些数据用户可能根本没想到会交给另一家服务。这些是 Anthropic 提出的具体指控，涉及到底是谁干的、谁知情。我手上没有原始证据，也没有独立核实过，也没看到被指控一方的回应，所以我不会把它扩大成对某个国家所有模型服务的判断。报告蒸馏章节，第 143—153 页

但它提的产品问题确实存在。用户在菜单里选了一个模型名字，他到底能确定什么？请求实际上是谁处理的？中间经过了哪些服务？数据会存多久，会不会拿去训练？

正常的多模型路由当然有用，做得好的话，价格、延迟和稳定性都能更好。但做路由的服务也得讲清楚，数据会交给谁，允许转给哪些地方。光挂一个模型名字不够，它还得承诺数据怎么处理。

如果你是企业，采购的时候就不能只比回答好不好、token 单价多少。如果你是开发者，光看到请求成功返回还不够，还得确认它走的是获准的路径。尤其是输入里已经有客户信息、内部文件或者凭证的时候，便宜一点根本解决不了这些数据安全的问题。

模型厂商看到更多以后，谁来约束这种权力

报告里还有一点我不想跳过。从 Anthropic 能写出这么多细节就看得出来，模型厂商在一些活动还在筹备、开发的时候，就能看到外面的人还看不到的东西。报告自己也讨论了这种提前发现问题的能力。

这对安全当然有明确的好处，但也带来一个很现实的权力问题。谁能看这些信息，能留多久，什么时候可以把不同账号关联起来，证据要到什么程度才能动手处理，判错了又该怎么申诉。

Anthropic 在生物风险那一章提出，对高风险的能力，要把内容防护和可信用户计划结合起来用。这个方向我能理解，因为有些问题光看一句输入，确实分不清是拿来干什么的。但这么做也有代价。要核验身份，用的门槛就高了；记录存得多了，隐私上的责任也跟着变大；平台手里的判断权也会更大。不能因为是为了安全，就不去约束这些权力本身。

还有一点要记得，Anthropic 既是调查的一方，也是卖模型的，还是在跟别人竞争的公司。报告里有些观察值得认真看，有些是它对谁干的做的归因判断，也有些治理建议正好符合它自己的立场。把这几种分开读就行，用不着先认定它全对或者全错。

像我这种做 agent 的，最后还是要落到一些很具体的工程检查上。给系统的授权能不能只限在当前这个任务？读信息和往外发东西是不是两个分开的权限？任务做完了，它会不会还在后台接着跑？出了问题，到底能停掉哪一环？留下的记录够不够查清发生了什么，有没有多存了不该存的数据？

但我不会因为这份报告，就觉得所有 agent 都该多加一轮让人点确认。确认的人如果信息不够，自己也没有独立判断的权力，这一步很容易变成走形式。真正该查的，是人到底给了系统什么目标、什么权限，还有系统实际上一直在做什么。

看完这些案例，我更在意一个 agent 从“能回答”走到“能一直做事”的这一段。这一段里多出来的不只是代码和工具，还有目标、记忆、授权、交接和执行。以后评估一个 agent，大概得把这一整段都算进去，只看它最后给的那条回答，会漏掉不少东西。

---

依据：Anthropic 报告页面及同名 PDF，发布日期 2026 年 9 月 10 日。本文页码对应 PDF 印刷页码。案例与归因均作为 Anthropic 的报告内容引用；成本、产品设计和治理部分为作者分析，未作全行业发生率或净影响估计。