标签

SSE

共 1 篇相关文章

OpenAI

ChatGPT 回复逐字蹦得太慢?先搞懂流式返回,再谈怎么加速

ChatGPT 长回答一个字一个字往外蹦,很容易让人以为后台早已算完、只是前端渲染慢。实际情况是模型逐 token 解码并通过长连接流式推送,前端只是把中间结果展示出来。本文拆解慢在哪几层、哪些能改善哪些不能,并给出网络排查、提问技巧、自建客户端接收 SSE 的具体做法与注意事项。

流式输出网络延迟ChatGPTSSEtoken 解码