API 额度 6000 万 token 就见底:agentic coding 的 token 成本控制
赠送的 100 美元 API 额度跑到约 6000 万 token 后报 credit_balance_exhausted,同期有人 2000 万 token 就花光、有人 1.59 亿 token 才用掉 72 美元。本文解释 token 数量与账单为何对不上,拆解上下文重发、缓存命中、模型档位三个关键变量,并给出一份可执行的省钱清单。
用赠送的 100 美元 API 额度跑 agentic coding,跑到大约 6000 万 token 时收到 failed [credit_balance_exhausted],提示余额已耗尽、需要充值才能继续调用。很多人第一反应是「6000 万 token 怎么才值 100 美元」,第二反应则是「我是不是哪里用错了」。
更让人困惑的是横向对比。同一个话题下,有人 2000 万 token 就烧完了 100 美元;也有人 1.59 亿 token 才用掉 72 美元额度,甚至还出现 15 美元欠费却仍能继续调用的情况。同样的额度,实际用量差出好几倍,这说明「token 数量」根本不是估算花费的有效单位——真正决定账单的是每一类 token 各自的单价,以及它们在总量中的比例。
这个报错到底意味着什么
credit_balance_exhausted 属于账户层面的余额问题,不是请求参数写错了,也不是模型不可用。它的出现只说明一件事:账单里的可用额度已经不足以支付下一次调用的预扣。常见的应对只有两种——充值,或者等赠送额度刷新(如果有)。
需要留意的是,从「额度耗尽」到「请求开始被拒」之间,往往存在时间差。用量统计有延迟,预扣与实际结算也可能不同步,所以你会看到额度显示为 0 之后还有零星请求成功。这不是免费的漏洞,而是账单还没追上,事后仍会计入欠费。把它当成「可以继续白嫖」的信号,后面大概率要补钱,或者影响账号状态。
为什么 token 数和花费对不上
同样是 6000 万 token,账单可以差出好几倍,原因集中在三处。
1. 输入和输出不是一个价
对话里每一轮都要把历史消息重新发一遍,这部分算输入;模型生成的回答算输出。两类 token 的单价通常不在一个量级,所以「总 token 数」这个指标天然失真——1 亿 token 里输入占 95% 和输出占 50%,是完全不同的两笔钱。
2. 上下文每轮都在重发
agentic coding 的成本大头从来不是模型的回答,而是每一轮都要重发的上下文:系统提示、工具定义、历史对话、读过的文件内容、命令输出、报错栈、diff 结果,全部算输入。一个读文件、改代码、跑测试的循环走上十几轮,真正「新增」的信息可能只有几 KB,但每次请求都在为整段历史付费。这是长会话越跑越贵、而且是加速变贵的根本原因。
3. 缓存命中与否,单价差一截
主流 API 都提供提示缓存:命中缓存的输入部分单价明显低于未命中部分,有的服务商对「写入缓存」还会单独计费。所以同样的上下文长度,开不开缓存、缓存有没有过期,账单能拉开明显差距。有人反馈缓存命中率已经到 96%,账单却依然不好看,原因在下一节展开。
三个账单样本的对照
| 现象 | 更可能的解释 |
|---|---|
| 6000 万 token 花掉 100 美元 | 长会话、上下文重发占比高,属于 agentic 场景的正常量级 |
| 2000 万 token 花掉 100 美元 | 全程用高价位模型、缓存命中率低,或输出占比偏高 |
| 1.59 亿 token 只用了 72 美元并欠费 15 美元 | 大量走缓存、输入占绝对多数;欠费来自结算延迟 |
这张表想说明的不是「谁更会省」,而是「token 数不能跨会话比较」。想知道自己的钱花在哪,只能去看用量面板里输入、输出、缓存三者的拆分。
把成本压下来的具体做法
打开提示缓存
检查客户端或 SDK 是否已经启用缓存相关参数,并确认缓存键稳定——系统提示、工具定义这类固定内容要原样复用,中途改一个字就全部失效。把变化频繁的内容(例如当前时间戳、随机 ID)挪到上下文的末尾,避免污染前缀。
主动管理上下文
- 读文件只取需要的片段,不要整文件塞进去;
- 命令输出先过滤,用
head、grep、--quiet截断,别把几千行日志原样喂给模型; - 一轮任务做完就重开会话,把结论写成简短的交接说明,不要把旧对话一直拖着;
- 长任务拆成几个子任务分别跑,每次只带必要的前置信息。
分层使用模型
简单任务——格式化、写注释、改配置、生成样板代码——交给便宜的小模型;复杂推理、跨文件重构、疑难报错再切到大模型。工具调用密集的流程尤其值得分层,因为大部分轮次只是在「按流程走」,用不着最强的那档。
给用量装上仪表盘
在组织后台设置预算上限和用量告警,按天或按小时拉一次用量数据,和本地记录的对齐。至少确认三件事:输入、输出各占多少;缓存命中率是多少;哪些请求是意料之外的重复调用(agent 卡在循环里反复重试,是最容易被忽视的浪费)。
拆开长任务
单次运行时间越长的 agent 越贵,而且贵得不线性。设定明确的终止条件(最大轮次、最大耗时、连续失败次数),触发就停下来人工介入,比让它自己「再试一次」划算得多。
缓存命中 96%,账单为什么还是不好看
命中率高不等于花费低,有三个容易忽略的点:
- 缓存不是免费。命中部分只是单价更低,仍会计费;如果服务商对缓存写入单独收费,长上下文反复重建缓存本身就是一笔开销。
- 缓存会过期。间隔一段时间没有请求,缓存就可能失效,下一轮要按未命中价格重新计费。断续使用的场景,命中率看着高,实际成本未必降下来。
- 分母在变大。上下文越长,能命中的绝对量越大,命中率自然好看,但基数本身已经翻了几倍,省下来的比例抵不过总量增长。
所以真正要盯的指标不是命中率,而是「每完成一个任务的成本」。用同一个任务前后对比,才有意义。
几个常见误区
- 以为输出是成本大头。在 agentic 场景里通常是反过来的,先去看输入占比。
- 以为额度用不完。赠送额度适合试用,不适合长期跑高频 agent。
- 依赖欠费继续跑。结算延迟不等于免费,欠费可能影响后续调用或账号状态。
- 囤积或共享账号额度。这类做法违反服务条款,风险远大于省下的钱,不建议尝试。
- 拿不同会话的 token 数比价。模型档位、缓存策略、输入输出比例都不同,比出来的结论没有参考价值。
长时间运行任务的额外考虑
agent 任务跑得越久,越容易被本机状态打断:休眠、断网、编译占满 CPU 导致的超时,都会让会话中断、上下文作废,前面的 token 白花。如果确实需要长时间连续运行,除了在本地做好电源和网络设置,也可以考虑把这类任务放到一台长期在线的机器上执行——例如整机托管在机房、按月租用、通过远程桌面连接的独享 Mac,让会话不因为本机开关机而重来。这只是降低中断概率的一种选择,成本是否划算仍要按自己的任务频率算。
小结
100 美元、6000 万 token 这个组合,在 agentic coding 场景里属于正常量级,不必怀疑自己下错了单。真正值得做的事有三件:把用量面板里的输入、输出、缓存拆开看清楚;把上下文当成有成本的东西来管理,能截断就截断、能重开就重开;按任务难度分层选模型,别让简单活儿占用最贵的档位。至于单价、优惠和额度规则,各服务商调整得比较频繁,涉及具体数字时以官方最新的定价与账单说明为准。