ChatGPT 浏览功能为何被紧急下线:付费墙、爬虫白名单与合规抓取
ChatGPT 的「使用 Bing 浏览」测试版曾因「以不希望的方式显示内容」被临时下线,导火索是用户指定 URL 就能拿到付费全文。本文拆解付费墙为何对爬虫「形同虚设」、这属于侵权还是违约的三种视角,并给出一份开发浏览类功能时的合规抓取检查清单。
2023 年 7 月,ChatGPT 的「使用 Bing 浏览」(Browse with Bing)测试版被临时关停。官方说明很简短:这个功能有时会「以我们不希望的方式显示内容」,比如用户只要指定某个 URL 并要求全文,就可能直接拿到本不该免费获得的内容;为了「维护内容所有者的权益」,先下线再修。
不少人的第一反应是困惑:搜索引擎本来就在抓全网页面,浏览器读一下网页,怎么就成了问题?要回答这个疑问,得先弄清楚付费内容在网页上到底是怎么被「挡住」的,以及搜索引擎爬虫为什么常常能「看见」全文。
官方真正在修的是什么
那段说明里最关键的一句是「用户专门请求 URL 的全文」。这不是搜索结果里出现一段摘要,而是用户拿着地址,让模型把正文完整取回来并展示。两者的性质差别很大:前者是索引与引流,后者接近于绕开站点的访问控制,直接替代了付费阅读。
换句话说,问题不在于「能不能访问这个网页」,而在于「访问之后把什么内容原样呈现给谁」。前者是浏览器行为,后者是内容分发行为。
付费墙为什么挡不住爬虫
前端隐藏不等于内容不存在
很多站点的付费墙是「软」的:正文其实完整地发给了浏览器,再用 JavaScript 或 CSS 盖一层遮罩、限制滚动高度、弹出订阅框。人眼看到的是被截断的半篇文章,机器拿到的却是完整 HTML。任何会执行页面脚本的抓取方式,都很容易把这层遮罩剥掉。
为了 SEO 给爬虫开口子
对内容型站点来说,搜索引擎流量是生命线。为了让文章能被完整索引、拿到好的排名,常见做法是识别爬虫身份(User-Agent、反向 DNS 验证、IP 段),对通过验证的爬虫返回全文,对普通访客只给摘要。这就是讨论里提到的「为了 SEO 单独对爬虫开放」——它是一份站点与搜索引擎之间的默契,不是面向所有人的公开授权。
其他容易漏出全文的入口
- 页面里的结构化数据、RSS 全文输出;
- 面向移动端或加速技术生成的简化版页面;
- 被第三方存档、镜像、翻译服务缓存的快照。
所以「搜索引擎能拿到全文」不能推导出「任何工具都能拿到全文」。那是特定主体在特定条件下获得的待遇。
这算侵权、违约,还是只是个 bug
围绕这一点,讨论里其实有三种不同立场:
| 观点 | 主要依据 | 局限 |
|---|---|---|
| 就是个技术缺陷 | 功能没有区分「摘要」和「全文」,补上限制即可 | 只解释了现象,没解释为什么内容方会抗议 |
| 属于违反站点条款 | 抓取与再展示受服务条款、robots 约定约束 | 条款效力因站点与司法辖区而异,执行成本高 |
| 触及著作权 | 完整复制并再现作品,可能涉及复制与传播行为 | 是否构成侵权要看使用目的、数量与当地法律 |
三种说法并不互斥。工程上更实用的判断标准是:只要你的产品会把付费全文原样交给未付费用户,你就已经处在风险区了,不必等到法律定性出来才行动。功能上线前先按这个标准自查,比事后解释划算得多。
开发浏览类功能的合规检查清单
如果你在做 AI 浏览、网页摘要、RAG 检索一类的东西,下面这些项建议逐条过一遍:
- 先读 robots.txt 与站点条款,把禁止抓取的路径加入黑名单,而不是靠事后过滤。
- 不要伪装 User-Agent,也不要用自己的爬虫去冒充搜索引擎的验证身份。
- 遇到 401 / 402 / 403 就停,不要尝试更换 IP、清除 Cookie、模拟登录来「再试一次」。
- 只保留必要片段:摘要、标题、少量引用,而不是整篇正文入库;缓存设置过期时间。
- 走授权渠道:官方搜索 API、内容授权合作、开放数据集,或直接对接站点的公开接口。
- 标注来源并保留原文链接,让用户回到内容方站点,而不是在你的界面里读完。
- 限速与可识别身份:请求频率可控,在 UA 里留下联系方式和用途说明,方便站点联系你。
- 做内容裁剪层:对已知的付费站点配置规则,只输出导语和元信息,正文交给用户自己点开。
需要提醒的是,各平台对浏览、抓取能力的具体规则一直在调整,功能形态和限制条款请以官方最新文档为准。
自建抓取或常驻浏览服务时的工程注意点
- 渲染型抓取要主动加约束。无头浏览器会执行页面脚本,很容易「顺手」绕过前端遮罩;务必在代码层面加域名白名单和正文截断,而不是依赖抓取库的默认行为。
- 稳定性与出口环境。长时间运行的抓取任务和常驻的 AI agent,对机器在线率和出口 IP 稳定性有要求。除了本地机器、云主机,也有人用放在机房的远程 Mac 常驻跑这类任务,好处是不占本地资源、连接相对稳定;选型时注意机房所在地的合规要求,以及目标站点条款是否允许该地区访问。
- 失败要降级而不是硬闯。解析失败、被拦截时,返回「无法获取正文」比反复重试更安全,也更省成本。
- 日志留痕。记录抓取时间、目标域名、返回状态码,出问题时能快速定位是哪条规则漏了。
小结
这次下线的核心不是「AI 不该上网」,而是「AI 上网后不该把别人的付费内容原样吐出来」。付费墙在技术上往往很薄,真正约束行为的是站点条款与著作权规则;技术上一分钟能绕过去的东西,法律和商业上可能要赔很久。做浏览、抓取类功能时,把「只取摘要、标注来源、遇阻即停」当成默认设计,比事后补丁可靠得多。