OpenAI

New Bing 答非所问、引用与内容不符?检索式 AI 的提问与验证方法

编辑部阅读约 5 分钟

问二甲双胍抗衰老,却被告知 ChatGPT 是中科院开发的,点开引用链接还完全不相干。这类跑偏不是模型突然变笨,而是检索、拼接、引用这三步叠加失误的结果。文章拆解常见成因,给出改造提问、核对引用、换问法复测的具体做法和检查清单。

有人向带联网搜索的聊天助手提问「二甲双胍抗衰老怎么用」,得到的答复里却冒出「ChatGPT 是由中科院开发的」这类说法,附带的参考链接点进去跟结论毫无关系。几乎同一时间,另一些人用相近的问法却拿到了还算靠谱的回答,既有媒体报道摘要,也有「尚无定论、需遵医嘱」的提醒。同一个产品、同一类问题,结果差距这么大,问题出在哪?

这既不是模型「突然变蠢」,也很难简单归结为「被污染」。更常见的解释是:检索式问答在中文提问、模糊指令、低质搜索结果三者叠加时的一次失手。下面把这条链路拆开看:它为什么会发生,以及提问时怎么降低踩坑概率、拿到可核查的答案。

跑偏的几种典型表现

  • 引用与结论不匹配:答案给出具体的机构名、人名或数据,链接打开后却与结论无关,甚至指向完全不同的主题。
  • 自信的错误陈述:把明显有误的事实用陈述句写出来,语气与正确答案毫无区别。
  • 答非所问:问的是具体用法,答的是泛泛背景;问的是操作细节,答的是一段新闻综述。
  • 前后不一致:追问一轮后,前面说过的话被推翻,但没有任何解释。

为什么会这样

检索结果本身质量参差

联网问答的第一环是搜索。中文结果里转载、洗稿、拼接式内容占比不低,标题与正文常常对不上。模型拿到的是摘要片段,如果片段本身就把两个不相干的实体塞进同一句,后面顺着编下去几乎是必然的。

引用往往是「事后贴上去」的

部分产品会先组织答案,再回头找链接挂上去;有的引用的只是搜索结果页的整体来源,而不是支撑某句话的具体段落。所以「有链接」不等于「有依据」。唯一可靠的判断方式是:点开链接,能不能在正文里找到支撑这句话的原句。

中文提问 + 中文检索的双重损耗

同一个问题用英文问,命中的多是论文摘要、机构页面、主流媒体报道;用中文问,命中二手编译和内容聚合页的概率更高。这跟语言本身无关,而是两种语言下可检索内容的构成不同。

提问本身缺少约束

「帮我问一下某某怎么用」这类说法,既没说清要什么类型的来源,也没限定输出格式。模型只能猜意图,猜错就跑题;而它跑题时语气依然笃定,读者很难第一时间察觉。

实操:把提问改造成可验证的形式

第一步:把需求写全

把模糊请求拆成四要素:主题、来源类型、输出格式、不确定时怎么办。例如:

请检索「二甲双胍与衰老」相关的公开信息,要求:
1. 只采用学术机构、主流媒体、官方药品说明三类来源;
2. 每条结论后附原句摘录与链接;
3. 找不到可靠来源时直接回答「未找到」,不要推测;
4. 用中文输出,来源可以是英文。

第 4 条是「英文检索 + 中文回答」的显式写法,比只丢一句「用英文搜」稳定得多——后者常常只改了输出语言,检索仍走中文索引。

第二步:让「检索到的」和「它自己知道的」分开

追加一句:请把检索所得信息与你自身知识分开标注,两者冲突时以检索结果为准,并说明冲突点。这一步能明显减少把记忆内容伪装成搜索结论的情况。

第三步:逐条核对引用

不必全看,重点核对三类:具体的机构名、人名、数字与日期。只要有一条对不上,就把整段答案整体降级为「待验证」,不要只否定那一句。

第四步:换问法复测

同一问题换一种表述、换一种语言、拆成两三轮追问后再问一次。多次回答互相矛盾的部分,就是最不可信的部分;多次回答都一致、且引用可查的部分,才值得采信。

核对清单

检查项 通过标准
引用可打开 链接能访问,正文含支撑句
主体明确 机构、人名、产品名有明确出处
时间明确 结论带日期,不是「最近」「据悉」
边界说明 有「尚无定论」「需遵医嘱」等限定语
一致性 换个问法,答案不冲突

注意事项

医疗、用药、法律、金融类问题,不要把聊天助手的回答当作决策依据。更稳妥的定位是:让它帮你找线索、找资料入口,最终结论回到官方说明书、监管机构公告或专业人士那里确认。涉及剂量、适应症这类细节尤其要谨慎。另外,产品的搜索策略和能力一直在调整,实际表现请以官方最新说明和自己的测试结果为准。

还有一种容易被忽略的干扰因素:如果你要做多轮复测、需要长时间挂着会话反复追问,本地浏览器的标签页休眠、网络抖动都可能导致回答卡住或中途失败,看起来像「模型变笨」,其实是链路断了。这类场景可以把长会话放到一台长期在线的远程机器上执行(例如整台托管在新加坡机房的独享 Mac mini,按月租用、远程连接),减少环境因素干扰;但它只改善使用环境,并不会提升模型本身的准确性。

小结

带联网搜索的助手出错,问题多半出在「检索—拼接—引用」这条链路上,而不是整体能力突然下降。可行的应对是把它当查询引擎而非权威:用带来源约束和格式约束的指令提问,让英文检索配中文输出,对机构名和数字逐条核对引用,再换问法复测一遍。三步变成习惯,被错误答案带偏的概率会小很多。

提示词技巧事实核查检索增强AI幻觉联网搜索