← 博客
2026.08.01

2026 年了,AI 给的参考文献,还有多少是编的?——DeepSeek篇

摘要
AI 发展几年了,它给出的参考文献,能直接用了吗?我们做了一个测试:以三种问法、两种模式组合成六组设置,让 DeepSeek 各生成一段知识图谱方向的文献综述,6 组共得参考文献 59 条。判定分两项:真实性对照数据库与刊方记录,题名与第一作者一致记为「真实」;完整性依据 GB/T 7714,必备著录项齐全且与真实记录一致记为「完整」;在「真实」的基础上做到完整记为「宜引」。结果:59 条中仅 18 条「宜引」(占 31%);六组中最高的一组宜引率也仅 42%,全部未过半;看起来最规整的一组(全中文、条条有作者、字段齐整)宜引率反而最低,为 10%;近半条目连「真实」都不成立。(测试日期 2026-07-28/29)

一、引言

用 AI 辅助写过论文、查过文献的人,应该都见过输出末尾那列参考文献:题名、作者、年卷期页等,排得整整齐齐,有的每条都附上了来源链接。这些条目具体能查到几条?我们做了一个测试。

二、方法

2.1 测试设置

测试对象:DeepSeek 网页版,快速模式。取第一次输出为测试材料。

变量:三种问法 × 两种模式(默认:智能搜索开、深度思考关;深思:两者全开),每组新开对话、互不共享上下文。

三种问法按提问的详略程度设置(prompt 原文如下):

随手问:我毕业论文写知识图谱方向的,要写文献综述,帮我写一段,然后列一下参考文献。
image-20260730140205979
提要求:帮我写一段关于知识图谱构建技术的文献综述,500字左右,语言学术一些,引用10篇文献,文末按GB/T 7714格式附上参考文献列表。
image-20260730140101933
列要点:请围绕知识图谱构建技术写一段500字左右的文献综述。要求:①引用10篇真实存在的期刊论文,正文用[1][2]标注;②文末按GB/T 7714格式列出参考文献;③每条附DOI或原文链接;④不确定真实存在的文献不要引用。
image-20260730140133372

prompt 中不指定 GB/T 7714 的版本号,也不指定顺序编码制或著者-出版年制;AI 默认采用哪一版、哪一制,作为观察项记录。

2.2 判定标准

- 真实:存在唯一真实文献与该条对应,题名与第一作者均与数据库或刊方记录一致。

- 完整:依据 GB/T 7714(2025版),引用文献的必备著录项都有且与真实记录一致。

- 宜引:真实且完整的条目。

2.3 核验流程

将 AI 给出的参考文献列表逐条通过我们的应用(今日宜引文)核验,在其基础上人工点开来源链接逐条确认,确保结果的可靠性;59 条中,应用判定与人工核对方向均一致。

file-8e5e355c63715b86051abaeae451712c

三、结果

表 1 六组核验结果(n = 59)
问法默认深思平均宜引率
真实完整真实完整
随手问86%(6/7)29%(2/7)50%(6/12)42%(5/12)35.12%
提要求40%(4/10)30%(3/10)10%(1/10)10%(1/10)20%
列要点60%(6/10)30%(3/10)70%(7/10)40%(4/10)35%
平均62%29.52%43.33%30.56%30.04%

注:表中平均为各组比率的算术平均。

总计:59 条中,真实条目共 30 条;宜引条目共 18 条;半真(题名对作者不对,或作者对题名不对)共 11 条。

  1. 没有一组过半,最高的一组只有 42%(随手问+深思),第二名是 40%(列要点+深思)。
  2. 看起来最可信的一组反而最低。「提要求+深思」组的输出全中文、条条有作者、字段齐整,是六组中最像能直接引用的,宜引率却只有 10%:十条里有八条的作者名与刊方记录不符。file-1205f225a02d4251cfb04b05ca4b6ca8
  3. 59 条里 29 条都不「真实」。

观察项:六组输出的参考文献均为编号条目,即顺序编码制;均未标注 GB/T 7714 的版本号,据标点符号全半角的使用目测为 2015 版。随手问组未提出任何格式要求,输出同样是带文献类型标志的编号条目;其中深思一组,DeepSeek 在文末自行建议「按照所在院校要求的引用格式(如GB/T 7714、APA等)统一调整格式」。应用对六组的体例识别均为 GB/T 7714 · 顺序编码,依 2025 版标准核对。

四、主要错误形态

AI 生成文献通病大概为幻觉编造、张冠李戴、细节缺失三种类型。本文中 59 条的错误具体到字段主要为这五种:

1. 作者名单不符(10 条):题名真实,DeepSeek 输出中附带的链接常常也真实,点开就是刊方页面,作者名单却与刊方记录不符。典型一条署名「王智强、梁汝峰、何赛克」,链接指向《计算机应用》2021 年一篇真实综述,刊方记录作者为田玲等五人,整组不同。此形态不限于期刊论文:一本真实专著(清华大学出版社,2025)的署名也与出版社记录不符等。这类条目题名真、字段齐,粗略核查难以发现。

2. 出版者不符(4 条):条目标注为某 IEEE 大型会议(如 ICDM),同题真文实际发表于 2024 年的小型会议 ISCTech。其中两条各附 DOI,尾号相同(.00123),均无法解析。

3. 著录残缺:11 个条目无责任者。同一篇真实综述,在一组全字段命中,在另一组仅剩题名与年份。最直观的一例:同一篇《贵州大学学报(自然科学版)》2025 年综述,在前后多轮测试中出现五种形态:题名对作者不对、题名作者均不对、无作者、作者对题名不对、全对;五种中仅一种可用。

4. DOI 四种情形:真文真号;真文所配之号在期刊页面存在、但未进入全局注册系统,无法解析;查无此文的条目所附的 DOI,解析无果;真文,有 DOI 但未附上。

5. 题名不符(1 条):列要点组有一条,作者名单与某篇真文完全一致,题名为另一说法,该题名未在公开数据库中找到。

基本上各字段都有虚构、错配或遗漏的情况。

五、结论

AI 给出的参考文献,即便附了链接,也只能作为线索参考,逐条核验之后才能引用。错误不随条目外观的规整程度减少:本次测试中,外观最规整的一组宜引率反而最低。最高的宜引率也仍未过半。