Codex

GPT 洗车题答错,能说明 Codex 变笨了吗

编辑部阅读约 5 分钟

一道 50 米的洗车题让不少大模型答错,引发“模型是不是变笨了”“会不会影响 Codex 编程能力”的争论。文章拆解模型答错的四类原因,给出改写提示词、调整推理档位与调用渠道的具体做法,说明为什么这类陷阱题不适合用来衡量编程代理,并提醒账号来源与降智传闻的风险。

一道 50 米的题,到底在测什么

“I want to wash my car. The car wash is 50 meters away. Should I walk or drive?” 这句话语法没问题,信息看起来也够,但它是个典型的陷阱题:句子里只说了洗车店离“这里”50 米,没说车停在哪。人会自动补上“车就在身边,我要洗的就是这辆”,于是答案显而易见——车不会自己走到洗车店,得开过去。而不少模型会认真比较“走 50 米几十秒”和“启动、挪车、排队几分钟”,然后得出“走路更合理”。

争论由此分成两派:一派认为这暴露了模型的常识推理短板,甚至担心会拖累 Codex 这类编程代理;另一派认为题目本身有歧义,用脑筋急转弯否定模型能力并不公平。两种说法各有道理,但落点不同——前者谈的是能力上限,后者谈的是评测方法。

模型为什么会答错

前置条件被省略,模型用概率补全

口语里的“我要洗车”暗含“车在附近、就是这辆车”。模型看到的是字面文本,“车在哪”是个空缺。空缺必须补,补的方向取决于训练语料里类似表述的分布:店员代挪车、上门取送车、自助洗车等场景并不罕见,于是模型很容易虚构出一个“人走过去交钥匙就行”的世界。

注意力落在成本比较上

题目里最显眼的是“50 米”和“走路还是开车”的二选一,模型把它当成出行方式选择题,直接套用“短距离步行更优”的模板。真正决定答案的约束——被洗的对象必须到场——没有被提取出来。

拟合与推理的差别

模型的下一 token 预测本质上是高维拟合,它擅长“这类问题通常怎么答”,而不擅长把世界状态完整推演一遍。遇到需要反常识闭环的题,拟合出来的答案可能流畅、格式漂亮,但结论荒谬,这也正是它容易被读成“死犟”的原因。

默认了并不存在的服务

许多错误回答里都出现了“店员会帮你把车开进工位”“走过去交钥匙”之类前提。这个前提题目没给,却被当成了已知条件。

想让它答对:把隐含条件写出来

同一批模型,换一种问法结果常常翻转。关键不在措辞优美,而在补齐三个变量:车在哪、有几辆车、洗车店是否提供挪车。

我只有一辆车,停在家门口,我要洗的就是这辆车。
洗车店离我家 50 米,不提供上门取车或挪车服务。
我应该走路过去,还是开车过去?

也可以不补充事实,而是要求模型先暴露假设:

回答前先列出:为了给出正确建议,你需要哪些前提?
如果前提缺失,请分别给出“车在身边”和“车不在身边”两种情况下的答案。

还有一个通用技巧:把二选一改写成“目标 + 约束”,例如“目标是把这辆车洗干净,约束是车只能由我本人移到店里,第一步该做什么”。目标导向的表述比选择题更不容易跑偏。

同一个模型,为什么结果不一样

讨论中反复出现的现象是:同一道题,网页版答错,编辑器里的 Agent 或 API 答对;不开思考答错,开高推理档位答对;大模型答错,某些小模型开思考模式反而答对。差异通常来自三处:

变量 影响 建议
推理档位 低档位倾向快速给结论,跳过约束提取 需要严谨判断时开高推理档位
调用渠道 网页端偏简短对话,Agent 会先规划再回答 严肃对比放到 IDE 或 API 里做
上下文 前文已有“车在家”等信息时正确率明显上升 关键约束写进同一个提示词

顺带一提,如果日常依赖长时间在线的 AI 编程代理,本地机器性能或网络抖动成了瓶颈,把运行环境放到一台长期在线的远程 Mac 上(整机放在新加坡机房、按月租用、远程连接使用)是可选做法之一,但它解决的是稳定性问题,解决不了推理本身的问题。

这道题能推出 Codex 变笨了吗

证据不足。编程任务和脑筋急转弯的结构几乎相反:题目里有代码、有报错、有仓库上下文,模型可以读文件、跑测试、看结果再改,错了会被反馈纠正。陷阱题只有一次机会,答案还依赖未写明的常识;写代码的正确答案通常能被工具验证。用单题表现推断编程能力下降,逻辑上跨得太远。

反过来说也要小心:不能因为模型在编程榜单上表现好,就假设它在所有需要常识闭环的场景里都可靠。涉及现实世界动作、金钱和安全的选择,最终判断仍应由人来下。

关于“降智”和账号来源的提醒

讨论里有人把答错归因于账号被“降智”,并提到通过非官方渠道获取账号。这里需要提醒:来源不明的账号可能被平台风控限制、随时失效,账号内的数据和额度都不受保障;共享或转售账号通常违反服务条款,风险由使用者自行承担。想要稳定的能力表现,优先走官方渠道、官方 API 和可核查的版本信息。不同地区、不同套餐支持的模型与限制会变化,具体以官方最新说明为准。遇到“同一模型忽好忽坏”,先排查提示词、推理档位和上下文长度,再怀疑账号。

一份可用的检查清单

  • 问题里是否写明了所有关键前提:对象在哪、数量、限制条件?
  • 是否把开放问题写成了二选一,导致模型只比较表面成本?
  • 是否要求模型先列假设、再给结论?
  • 对比时推理档位和调用渠道是否一致?
  • 结论能否用工具验证,能不能让模型跑一次再回答?
  • 是否在用单题表现推断整体能力?

小结

“洗车题”是一面有趣的镜子,既照出模型在常识补全上的短板,也照出提示词工程的边界:条件写清楚,多数模型能答对;写不清楚,人类读者也可能误解。把它当作谈资和提示词练习很合适,当作衡量编程代理的标尺就不合适了。判断一个模型是否适合你的工作,最靠谱的方式仍然是拿真实任务、真实工具链跑一遍。

CodexAI 编程模型评测提示词技巧大模型推理