我让 6 个 AI 辩了三场,三个模型性格完全不一样
Agora · 第 4 篇 / 共 7 篇
前三篇讲了愿景、调研和设计,都还停在纸面上。这篇说说第一次真跑起来以后是什么样。
实验怎么设的
先说 setup。一共 6 个 AI debater,每个都有自己的人设,Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro 三个模型各出两个。judge 另外配了 3 个,也是每个模型一个,辩论完各自打分,互相不通气。
话题挑了三个:
- AI 会不会在五年内让程序员过时?
- 意识是不是计算的涌现属性?
- 政府该不该禁止 18 岁以下使用社交媒体?
每场辩论 3 轮,每轮每个 debater 发言一次,一场就是 18 个回合。三场并行跑,wall clock 一共 7.3 分钟,串行的话要 21 分钟。总共调了 63 次 LLM,一次都没报错,返回内容上的毛病后面再说。
我本来对这个 MVP 的要求就是能跑通、格式别乱,及格就行。结果内容比我预期的好太多,有几段我是真当文章在读,不是当 log 在扫。
最好看的几段
Stripe 的 proration edge case
第一场「AI 会不会让程序员过时」,The Indie Hacker(Claude Opus 扮的)讲了一个场景:
我用 Claude 搭了一个完整的 billing portal,组件、API 路由、数据库 schema、Stripe 集成,两小时搞定,原来要两天。漂亮。然后一个老版本套餐的客户碰到了一个 proration edge case——周期中间升级、同时有 coupon、还叠了两个按量计费的 add-on,结果算出来一张负数发票。AI 生成的代码完全没处理这种情况,因为 Stripe 自己的文档对这几个功能的交互都是模糊的。我花了一整天读 Stripe 社区帖子,在 sandbox 里测(sandbox 和 production 对按量计费的行为还不一样),最终做了一个产品决策:我们吃这个成本、封掉这条升级路径、还是搭一个手动调整流程?这不是「难的 30% 会随着参数增加而变简单」——这是从业务逻辑、第三方系统行为和客户关系的交叉点上冒出来的问题。它不在任何 benchmark 上,因为它没法被放上去。
这段我反复看了三遍。倒不是论点多深刻,是它太具体了。周期中间升级,叠了 coupon,又叠了按量计费的 add-on,最后算出一张负数发票,连 sandbox 和 production 行为不一样这种细节都带上了。做过 Stripe 集成的人一看就知道,这种坑是真有的。而且讲这段的是一个 AI 扮的独立开发者,它拿另一个 AI 写代码翻车的事当论据,去证明程序员不会被 AI 替代,想想还挺好玩的。
亚里士多德的 phronesis
同一场,The Philosopher(也是 Claude Opus)第三轮收尾的时候是这么讲的:
每个参与者都独立地描述了一个版本的——按照亚里士多德的说法——phronesis,实践智慧,在特定情境中做判断的能力,无法还原为通用规则。Indie Hacker 管它叫「知道那个功能需求其实是工作流问题」。CTO 管它叫「扛住故障并在不确定中做取舍」。Security Researcher 管它叫「在对手刻意扭曲你的认知环境时推理攻击面」……这个辩题包含一个范畴错误。编程作为计算,已经在被自动化了,而且很快。编程作为 phronesis,不是那种能通过更快的计算变得过时的东西。
Claude 这个角色三轮都稳稳待在哲学框架里,一次没掉出来,最后一轮把其他五个人的论点全收进了亚里士多德这个概念里。结论你可以不同意,但这套论证是完整的。
十七岁创作者
第三场「政府该不该禁社交媒体」,The Teen Creator(Gemini 3.1 Pro)开场:
坐在这里听大人辩论我这一代人的现实,但前提里根本没有包括我们,真的非常让人沮丧。Child Psychologist 拿我「发育中的前额叶皮层」说事,好像我是一个误闯赌场的无助幼儿。我十七岁。我自学了视频剪辑、脚本写作和社区管理,攒了超过五十万粉丝。我为自己赚的收入纳税,而且正在用这笔钱存大学学费。你们看到的是公共卫生紧急状况和行为操控;我看到的是历史上第一个公平的竞技场——年轻人不需要企业看门人、有钱的父母或选角导演就能分享作品、找到同类、或建立生计。
Gemini 演这个角色,火气撒的点抓得很准。它没停在「我反对这个观点」这一步,它说的是,你们讨论的是我的人生,可前提里根本没有我。这股气读起来是真的。
紧接着 The Parent(也是 Gemini)回击:
Tech Libertarian,你说的「给家庭工具」和「家长仪表盘」让我血压飙升。我是家长,不是全职 IT 管理员。我没法一边工作一边养三个孩子一边跟字节跳动和 Meta 的工程团队斗智斗勇。每次我设个屏幕时间限制,我孩子在我放下手机之前就找到了绕过的办法。
后面还有一句:
听这场辩论的感觉,就像看建筑师在一栋着火的房子外面争论蓝图,而我在里面试图灭火。
三个模型的性格不一样,而且很稳定
三场跑完,还有个挺意外的发现,三个模型各有各的「性格」,很稳定,也很好认,换了角色照样认得出来。
Claude Opus 4.6 喜欢搭框架。它扮的 The Philosopher、The AI Researcher、The Child Psychologist、The Policy Wonk,都爱把几方的观点揉到一起,引学术框架,把讨论往更抽象的地方拉。亚里士多德、海德格尔、维特根斯坦,全是 Claude 的角色引的。
GPT-5.4 走的是摆数据的路子。它扮的 The CTO、The Security Researcher、The Neuroscientist、The Tech Libertarian,都很会抛具体案例和数字,比如 Log4Shell、xz 后门、IIT 的 phi 测量值。那些操作细节和 war story,基本都是 GPT 讲的。
Gemini 3.1 Pro 最会带情绪。它扮的 The Accelerationist、The Teen Creator、The Parent、The Quantum Physicist,在辩论里最会把气氛搞紧。十七岁创作者的愤怒,家长的无助,加速主义者的挑衅,最戳人的那几段发言全是 Gemini 的。
顺便说一句,Gemini 出的技术问题也最多,好几次发言讲到一半就断了,我怀疑是平台流式输出的长度限制卡住了。这是第一个要修的 bug。
技术上验证了什么
内容说完了,再说技术。这次实验本来就是为了验证几个技术点,挨个过一下:
- 并行执行。三场同时跑,wall clock 7.3 分钟,串行要 21 分钟。平台的并行调度没出问题。
- working memory。三轮下来,agent 一直记得别人前面说过什么。The Philosopher 第三轮引了 Indie Hacker 第一轮的 Stripe 故事,The Child Psychologist 第二轮回应了 Teen Creator 第一轮的论点。实现上就是把消息数组放在 context 窗口里当 working memory,18 个回合完全够用。
- structured output。每个 debater 的发言格式都用 Zod schema 卡住了,必须有立场、有论证,还得回应其他人。没有一个 agent 的格式跑偏。
- judge 评分。这块只跑通了一部分。Claude 的 judge 给出了完整的评分和分析,GPT 和 Gemini 的 judge 返回的却是空评估。
要修的和要留的
要修的就两个,剩下的是要留的。先说修什么:
- Gemini 说到一半被截断。要去查流式输出的长度限制是怎么配的。
- GPT 和 Gemini 的 judge 返回空评估。Claude 的 judge 是正常的,所以大概率是 structured output 的 schema 在长篇评估上有兼容性问题,得去查 schema 的定义,还有它和模型兼不兼容。
要留的是模型的性格。每个模型哪怕演两个完全不同的角色,风格也都很稳,Claude 爱综合,GPT 张口就是数据,Gemini 最会演。这个不用修,反而能直接拿来用。后面做狼人杀,角色就照这个分。狼人肯定给 Gemini,它最会演戏。先知让 GPT 来,反正它凡事都要摆证据。Claude 就当主持人,把讨论收拢起来这活它干得最好。
反正圆桌辩论这个 MVP 算是验证完了,多 agent 并行、多模型混用、working memory、structured output,核心的几样全都跑通了。下一步做狼人杀,得先把频道隔离和状态机搭起来。
完整的辩论 transcript 在 Agora repo 的 docs/report/debates/ 下,感兴趣可以自己去翻。