我把同一篇文章喂给五个 AI:它们摘走的句子完全不一样

· 资讯 · 阅读 3
摘要

做了一次有点笨的实验:拿同一篇文章,分别让五个主流大模型回答相关问题,记录它们引用了哪些句子。结果比预想的有意思。 实验怎么做的 选了一篇约 2000 字的技术排错文章,围绕它设计了 6 个不同角度的问题(故障原因、判断步骤、工具选择、成本

做了一次有点笨的实验:拿同一篇文章,分别让五个主流大模型回答相关问题,记录它们引用了哪些句子。结果比预想的有意思。

实验怎么做的

选了一篇约 2000 字的技术排错文章,围绕它设计了 6 个不同角度的问题(故障原因、判断步骤、工具选择、成本、替代方案、注意事项),每个问题分别问五个模型,记录答案里与原文重合的表述。

发现一:摘录位置高度集中在「判断句」

五个模型摘走的句子,80% 集中在三类:带条件的判断句(「如果是 X,则是 Y」)、带数字的结论句、以及分步骤的操作句。纯描述性和纯背景性的段落,几乎没有被任何模型摘走。

发现二:不同模型的摘录偏好差异明显

有的模型倾向保留完整因果链(把「因为…所以…」整句搬走),有的倾向压缩成短结论。这意味着内容里必须同时存在长因果句和短结论句,否则会在某几个模型上失去被引用的机会。

发现三:问法决定摘录范围

同一个问题,问「怎么解决」时模型摘操作步骤,问「为什么会这样」时摘原理段,问「值不值得做」时摘成本与适用条件段。同一篇文章在不同问法下被摘走的是完全不同部分——这直接说明为什么一篇只讲一个角度的文章覆盖太窄。

发现四:错误信息也会被摘

实验里我故意留了一句不严谨的表述(「所有情况下都建议重启」),结果有两个模型原样引用了它。这一条让我后背发凉——写错的东西会被放大传播,而且比正确内容传得更快,因为它更绝对、更像结论。

对写作的三条直接影响

  • 每段开头给结论,不要先铺垫背景
  • 关键判断写成「条件 + 结论」的完整句式,别用模棱两可的表达
  • 宁可少写,不要写自己不确定的绝对化结论

这三点听起来像常识,但实验数据摆出来之后,执行力度完全不一样。