和 AI 讨论这篇文章
ChatGPTClaude

我让 6 个 AI 辩了三场,三个模型性格完全不一样

Agora · 第 4 篇 / 共 7 篇


前三篇讲了愿景、调研和设计,都还停在纸面上。这篇说说第一次真跑起来以后是什么样。

实验怎么设的

先说 setup。一共 6 个 AI debater,每个都有自己的人设,Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro 三个模型各出两个。judge 另外配了 3 个,也是每个模型一个,辩论完各自打分,互相不通气。

话题挑了三个:

  1. AI 会不会在五年内让程序员过时?
  2. 意识是不是计算的涌现属性?
  3. 政府该不该禁止 18 岁以下使用社交媒体?

每场辩论 3 轮,每轮每个 debater 发言一次,一场就是 18 个回合。三场并行跑,wall clock 一共 7.3 分钟,串行的话要 21 分钟。总共调了 63 次 LLM,一次都没报错,返回内容上的毛病后面再说。

我本来对这个 MVP 的要求就是能跑通、格式别乱,及格就行。结果内容比我预期的好太多,有几段我是真当文章在读,不是当 log 在扫。

最好看的几段

Stripe 的 proration edge case

第一场「AI 会不会让程序员过时」,The Indie Hacker(Claude Opus 扮的)讲了一个场景:

我用 Claude 搭了一个完整的 billing portal,组件、API 路由、数据库 schema、Stripe 集成,两小时搞定,原来要两天。漂亮。然后一个老版本套餐的客户碰到了一个 proration edge case——周期中间升级、同时有 coupon、还叠了两个按量计费的 add-on,结果算出来一张负数发票。AI 生成的代码完全没处理这种情况,因为 Stripe 自己的文档对这几个功能的交互都是模糊的。我花了一整天读 Stripe 社区帖子,在 sandbox 里测(sandbox 和 production 对按量计费的行为还不一样),最终做了一个产品决策:我们吃这个成本、封掉这条升级路径、还是搭一个手动调整流程?这不是「难的 30% 会随着参数增加而变简单」——这是从业务逻辑、第三方系统行为和客户关系的交叉点上冒出来的问题。它不在任何 benchmark 上,因为它没法被放上去。

这段我反复看了三遍。倒不是论点多深刻,是它太具体了。周期中间升级,叠了 coupon,又叠了按量计费的 add-on,最后算出一张负数发票,连 sandbox 和 production 行为不一样这种细节都带上了。做过 Stripe 集成的人一看就知道,这种坑是真有的。而且讲这段的是一个 AI 扮的独立开发者,它拿另一个 AI 写代码翻车的事当论据,去证明程序员不会被 AI 替代,想想还挺好玩的。

亚里士多德的 phronesis

同一场,The Philosopher(也是 Claude Opus)第三轮收尾的时候是这么讲的:

每个参与者都独立地描述了一个版本的——按照亚里士多德的说法——phronesis,实践智慧,在特定情境中做判断的能力,无法还原为通用规则。Indie Hacker 管它叫「知道那个功能需求其实是工作流问题」。CTO 管它叫「扛住故障并在不确定中做取舍」。Security Researcher 管它叫「在对手刻意扭曲你的认知环境时推理攻击面」……这个辩题包含一个范畴错误。编程作为计算,已经在被自动化了,而且很快。编程作为 phronesis,不是那种能通过更快的计算变得过时的东西。

Claude 这个角色三轮都稳稳待在哲学框架里,一次没掉出来,最后一轮把其他五个人的论点全收进了亚里士多德这个概念里。结论你可以不同意,但这套论证是完整的。

十七岁创作者

第三场「政府该不该禁社交媒体」,The Teen Creator(Gemini 3.1 Pro)开场:

坐在这里听大人辩论我这一代人的现实,但前提里根本没有包括我们,真的非常让人沮丧。Child Psychologist 拿我「发育中的前额叶皮层」说事,好像我是一个误闯赌场的无助幼儿。我十七岁。我自学了视频剪辑、脚本写作和社区管理,攒了超过五十万粉丝。我为自己赚的收入纳税,而且正在用这笔钱存大学学费。你们看到的是公共卫生紧急状况和行为操控;我看到的是历史上第一个公平的竞技场——年轻人不需要企业看门人、有钱的父母或选角导演就能分享作品、找到同类、或建立生计。

Gemini 演这个角色,火气撒的点抓得很准。它没停在「我反对这个观点」这一步,它说的是,你们讨论的是我的人生,可前提里根本没有我。这股气读起来是真的。

紧接着 The Parent(也是 Gemini)回击:

Tech Libertarian,你说的「给家庭工具」和「家长仪表盘」让我血压飙升。我是家长,不是全职 IT 管理员。我没法一边工作一边养三个孩子一边跟字节跳动和 Meta 的工程团队斗智斗勇。每次我设个屏幕时间限制,我孩子在我放下手机之前就找到了绕过的办法。

后面还有一句:

听这场辩论的感觉,就像看建筑师在一栋着火的房子外面争论蓝图,而我在里面试图灭火。

三个模型的性格不一样,而且很稳定

三场跑完,还有个挺意外的发现,三个模型各有各的「性格」,很稳定,也很好认,换了角色照样认得出来。

Claude Opus 4.6 喜欢搭框架。它扮的 The Philosopher、The AI Researcher、The Child Psychologist、The Policy Wonk,都爱把几方的观点揉到一起,引学术框架,把讨论往更抽象的地方拉。亚里士多德、海德格尔、维特根斯坦,全是 Claude 的角色引的。

GPT-5.4 走的是摆数据的路子。它扮的 The CTO、The Security Researcher、The Neuroscientist、The Tech Libertarian,都很会抛具体案例和数字,比如 Log4Shell、xz 后门、IIT 的 phi 测量值。那些操作细节和 war story,基本都是 GPT 讲的。

Gemini 3.1 Pro 最会带情绪。它扮的 The Accelerationist、The Teen Creator、The Parent、The Quantum Physicist,在辩论里最会把气氛搞紧。十七岁创作者的愤怒,家长的无助,加速主义者的挑衅,最戳人的那几段发言全是 Gemini 的。

顺便说一句,Gemini 出的技术问题也最多,好几次发言讲到一半就断了,我怀疑是平台流式输出的长度限制卡住了。这是第一个要修的 bug。

技术上验证了什么

内容说完了,再说技术。这次实验本来就是为了验证几个技术点,挨个过一下:

  1. 并行执行。三场同时跑,wall clock 7.3 分钟,串行要 21 分钟。平台的并行调度没出问题。
  2. working memory。三轮下来,agent 一直记得别人前面说过什么。The Philosopher 第三轮引了 Indie Hacker 第一轮的 Stripe 故事,The Child Psychologist 第二轮回应了 Teen Creator 第一轮的论点。实现上就是把消息数组放在 context 窗口里当 working memory,18 个回合完全够用。
  3. structured output。每个 debater 的发言格式都用 Zod schema 卡住了,必须有立场、有论证,还得回应其他人。没有一个 agent 的格式跑偏。
  4. judge 评分。这块只跑通了一部分。Claude 的 judge 给出了完整的评分和分析,GPT 和 Gemini 的 judge 返回的却是空评估。

要修的和要留的

要修的就两个,剩下的是要留的。先说修什么:

  1. Gemini 说到一半被截断。要去查流式输出的长度限制是怎么配的。
  2. GPT 和 Gemini 的 judge 返回空评估。Claude 的 judge 是正常的,所以大概率是 structured output 的 schema 在长篇评估上有兼容性问题,得去查 schema 的定义,还有它和模型兼不兼容。

要留的是模型的性格。每个模型哪怕演两个完全不同的角色,风格也都很稳,Claude 爱综合,GPT 张口就是数据,Gemini 最会演。这个不用修,反而能直接拿来用。后面做狼人杀,角色就照这个分。狼人肯定给 Gemini,它最会演戏。先知让 GPT 来,反正它凡事都要摆证据。Claude 就当主持人,把讨论收拢起来这活它干得最好。


反正圆桌辩论这个 MVP 算是验证完了,多 agent 并行、多模型混用、working memory、structured output,核心的几样全都跑通了。下一步做狼人杀,得先把频道隔离和状态机搭起来。

完整的辩论 transcript 在 Agora repo 的 docs/report/debates/ 下,感兴趣可以自己去翻。

和 AI 讨论这篇文章
ChatGPTClaude

订阅更新

新文章发布时发到你的邮箱,不发别的。


© Xingfan Xia 2024 - 2026 · CC BY-NC 4.0