OpenAI

自建 ChatGPT 尝鲜入口翻车复盘:模型选型、上下文与成本的五个坑

编辑部阅读约 6 分钟

一个面向国内用户的「免登录 ChatGPT 尝鲜站」上线当天就遭遇 502、答非所问、回答截断和预算告急,最后转为收费并很快下线。本文复盘这类套壳服务最容易踩的五个坑:模型选错、上下文丢失、输出截断、部署与网络不稳、成本失控,并给出可落地的检查清单。

一个「免登入尝鲜入口」为什么会在一天内崩掉

有人用 OpenAI 的接口写了一个仿 ChatGPT 的前端,主打国内用户不用登录、不用额外网络工具就能直接提问。上线第一天,访问者看到的却是 502、页面打不开;能打开的人很快发现回答里的日期停在两年前,历史人物关系答错,回答到一半戛然而止;再往后,免费额度耗尽,服务改成按次收费,并且很快就无法访问了。

这件事值得写下来,不是因为它特殊,而是因为它几乎把「用 API 套一个对话界面」会踩的坑全踩了一遍。下面按问题归类,讲清楚原因和做法。

坑一:把 completion 接口当成了 ChatGPT

作者调用的是 text-davinci-003 这类 completion 模型,而网页版 ChatGPT 背后是经过对话微调的 chat 模型。两者的差别不只是版本号:

  • completion 接口只做一件事——根据你给的文本继续往下写,没有内置的对话策略、拒答习惯和多轮理解能力。
  • 「你是第几代 ChatGPT」「你是不是 ChatGPT」这类问题,模型的回答来自训练语料里的猜测,不能当作事实。
  • 模型没有时钟。不注入当前时间,它就会把训练数据里的日期当作「今天」,于是出现「今天是 2020 年 7 月 14 日」这种答案。

对应的做法:

  1. 对话场景优先选 chat 类接口,不要拿 completion 模型硬撑聊天。具体可用的模型名称和下线情况变化很快,以官方文档为准。
  2. 把当前日期、身份、回答风格写进 system prompt,并明确告诉模型「不确定就说不确定」。注入时间只能缓解日期问题,不会让模型获得实时信息。
  3. 宣传口径要与实际一致。叫它「GPT 体验入口」可以,叫「ChatGPT」就会让用户拿网页版的标准来对比,落差直接变成差评。
  4. 上线前用一组固定的测试问题跑一遍,比如事实类、多轮指代类、长回答类,各准备十条。

坑二:接口是无状态的,上下文和会话隔离都得自己做

每次请求都是独立的,模型不记得上一句。想让它理解上下文,就得把整段对话历史随请求一起发过去:

history.append({"role": "user", "content": user_input})
messages = [{"role": "system", "content": system_prompt}] + trim(history)
resp = client.chat.completions.create(model=MODEL, messages=messages, max_tokens=512)
history.append({"role": "assistant", "content": resp.choices[0].message.content})

比「记不住」更严重的是「串台」。如果一个服务用全局变量或单一会话保存上下文,不同用户就会互相看到对方的问题,甚至出现「接着别人没说完的话继续回答」。这类问题一旦发生,就是隐私事故,不是体验问题。稳妥的规则是:

  • 每个浏览器会话分配独立的 session id,历史记录按 id 隔离存储,设置过期时间。
  • 绝不把用户输入拼进所有人共用的 prompt 里。
  • 日志里不要落原始对话内容;确需排查时做脱敏。
  • 历史过长时按 token 预算截断,或先让模型摘要再带入。

坑三:回答被截断、长问题被拒,体验直接崩

max_tokens 控制的是输出上限,不是输入上限。用户看到「回答一半就没了」,通常是输出撞到了这个上限;要继续回答,需要把已有内容作为 assistant 消息再请求一次,或者提示用户「继续」。

choice = resp.choices[0]
if choice.finish_reason == "length":
    # 输出被截断:可提示用户继续,或适当提高 max_tokens
    ...

还有一类更伤人的设计:用户问了一个稍长的问题,被直接回一句「请简化你的问题,字数越长成本越高」外加收款联系方式。技术上省钱没错,但把它放在提问入口,等于把付费墙伪装成功能提示。正确做法是给出明确的字数上限、在提交前就提示剩余额度,而不是事后拦下来。

另外,调用外部接口一定要有超时、重试和降级:遇到 429 或 5xx 用指数退避重试两三次,仍失败就返回一句人话,而不是把原始异常抛到页面上。

坑四:502、IP 白名单与部署环境

早期打不开的原因很朴素:服务端做了 IP 白名单,只放行了作者家里的网段;域名没备案、解析用的是免费服务、服务器放在境外,访问自然不稳定。这些属于工程细节,但恰恰决定了别人能不能用上。

上线前至少确认:

  • 有一个 /health 健康检查接口,外部监控能定时探测。
  • 反向代理设置合理的超时时间,避免长时间生成被网关提前掐断。
  • 业务身份、域名解析和服务器所在地的合规要求先弄清楚,别等出问题再补。
  • 单机部署时准备好降级页面,明确告知当前状态,而不是给一个白屏。

如果真正的瓶颈是长期在线的稳定出网和无人值守运行,也可以把这类服务放到一台常开的远程机器上——比如整台托管在新加坡机房的独享远程 Mac,按月使用、远程连接,适合让服务或 Claude Code 这类工具长时间挂着跑。选在哪里部署、面向谁提供服务,仍要遵守当地法规和上游平台条款。

坑五:成本失控与收费的边界

新账号的免费额度是有限的,公开的免费服务一定会被刷。作者后来开始按 5 元 50 次收费,评论区立刻出现两种声音:一种认为收费合理,另一种认为「先免费引流再收费」不厚道。这里的分歧其实不在价格,而在于信息是否提前透明。

成本控制的基本动作:

措施 作用
按用户/会话设置每日次数上限 防止单点刷爆额度
设置账户预算告警和硬上限 避免账单意外
简单任务用更便宜的模型 降低平均成本
限制 max_tokens、压缩历史 直接减少 token 消耗
缓存高频相同问题 减少重复调用

还有两条红线需要说清楚:

  • 不要买卖、共享或转租账号与 API Key,也不要把它包装成「代充值」「代付」服务,这既违反平台条款,也容易牵扯账号安全。
  • 以「免登录、免额外网络工具」为卖点,向平台未开放地区的用户提供访问,本身就有合规风险。更稳妥的替代方案是:使用官方支持的正规接入渠道,或改用在国内可合规调用的模型服务,并在页面上如实说明模型来源与能力边界。

上线前的检查清单

  • 用的是对话型接口,而不是 completion 模型
  • system prompt 里注入了日期、身份和拒答规则
  • 上下文按会话隔离,有 TTL 和清理策略
  • 处理了 finish_reason == "length",支持继续生成
  • 有超时、重试、限流和友好错误提示
  • 输入/输出长度限制在提交前就告知用户
  • 有健康检查和外部监控
  • 账户设了预算告警与硬上限
  • 收费规则在显眼位置提前说明,不做中途拦截
  • 服务条款、域名与部署地的合规要求已确认

小结

套一个 ChatGPT 界面是一天的事,把一个对话服务做稳是另一回事。模型选型决定能力上限,上下文管理决定它像不像在聊天,截断和错误处理决定体验下限,成本与合规决定它能活多久。那位作者的站点最后没能撑住,但这五个坑,每一个都可以在上线前用一张清单提前堵住。

成本控制上下文管理模型选型OpenAI API服务部署