同一个医学问题问了豆包、DeepSeek和Gemini，没有一家能全信

本文来自微信公众号： EarlMind ，作者：张翼轸Earl前几天看到上观新闻的一篇新闻1，不由唏嘘。一位31岁的女工程师，疑因听信GPT-4o给出的医疗建议，擅自停用了抗癫痫药物，最终离世。她的父母已经起诉了OpenAI。用不用AI询问医疗问题，在医疗界和病人之间，显然会有迥异的态度。所以才会有了下面的梗图。以及有人复刻了中文版梗图。然而作为普通人，面对麻烦的问诊过程，终究克制不住问AI——考虑到某些初级医生都要问AI，这也未必完全无益。但前提，是问对，避免被忽悠。我拿一个很具体的问题做了测试：老年人患了大肠癌，治疗或者康复过程中，会不会引发帕金森？这种问题如果直接去普通搜索引擎搜，大概率会搜出一堆语焉不详的健康养生号，甚至被某些断章取义的“肠脑轴”科普吓得心惊肉跳。换作现在，不少人会选择直接问大模型。老实说，哪怕你是用豆包，或许也比直接用搜索引擎更安全。下图是不加任何约束、直接把问题丢给豆包的结果，至少这一次，它参考的几乎都是PMC、PubMed上的英文文献，绕开了满屏的养生号。但用AI查严肃医疗问题，最让人提心吊胆的，永远是大模型的幻觉：语气无比专业、冷静、条理清晰，给出的结论却毫无根据，甚至还能随手编造几篇看似高大上的学术论文。为了把这个疑问搞清楚，我顺手做了一次实测。同一条加了约束的提示词，同时扔给了Gemini、DeepSeek和豆包；跑完之后，再请外部模型顺着它们给出的线索去学术数据库逐篇核对，最后又换一个模型对核对结果做了二审。结果不仅很有意思，甚至有点出乎我最初的预料。给AI戴上一道紧箍咒问专业问题，提示词里多加几句约束，效果往往天差地别。面对这种涉及疾病因果关联的问题，我的习惯是明确给它定下两道规矩：必须基于权威循证医学研究的结论；只要提到论文，必须同步给出DOI。这里要多花两句解释下，很多人可能不知道DOI是什么。DOI的全称是Digital Object Identifier，直译过来是“数字对象唯一标识符”。你可以把它理解成学术论文在全世界的“终身身份证号”。一篇论文发在哪个网站、排版怎么变、网址链接会不会失效，都不影响它的DOI。只要在浏览器里输入doi.org/加上这串字符，就能直接跳转到出版商的官方原始页面。要求AI给出DOI，是我用来检验它有没有胡说八道的一块试金石。大模型如果要凭空捏造一篇论文，编一个像模像样的英文标题并不难；但要编出一串真实存在、且刚好对应这篇论文的DOI，概率极低。有了DOI，我们花几秒钟去Crossref或PubMed上一查，它是真有据可循，还是在信口开河，立马现形。带着这个要求，三个模型的回答都交卷了。一次耐人寻味的交叉核对在核心医学结论上，三个模型的大方向其实都没跑偏：目前没有循证证据表明大肠癌会诱发帕金森病；相反，多数流行病学数据还显示两者存在某种“负相关”（患其中一种的人，患另一种的概率反而略低）。至于这种负相关有多少是真的生物学关联，有多少来自吸烟习惯、筛查频率、竞争性死亡这些偏倚，学界还没有定论。但一旦进入到文献出处和DOI的真伪核对，三者的表现就拉开了差距。我先用基于Kimi K3后训练的SWE-2做了一审。DeepSeek的敏锐与翻车老实说，DeepSeek的回答在方法论上是相当敏锐的。它一眼看出了这类研究的一个常见盲区：医学界绝大多数高质量队列研究，探讨的都是“先确诊帕金森的人后续患癌风险如何”，极少有大规模前瞻研究专门追踪“肠癌幸存者后续得帕金森的概率”。它明确指出了这个证据方向上的不对称，提醒读者不要随意反推。可惜，在提供文献DOI时，它栽了个不大不小的跟头。DeepSeek列了三篇文献。其中一篇来自韩国的全国性队列研究，它给出的DOI是10.1038/s41531-023-00545-6。我顺着这串编号去数据库一查，这篇真实存在的文章根本不是讲癌症与帕金森反向关系的，而是讲“脑深部电刺激对帕金森患者驾驶能力的影响”。耐人寻味的是，DeepSeek自己在括号里加了一句注释：“根据期刊与年份推断，原文未直接列出”。也就是说，它记住了这篇韩国研究发在Nature旗下的npj Parkinson's Disease上，但没搜到确切后缀，于是按照该刊的编号规则自行“推断”（其实就是猜）了一个。真实的那篇论文其实是同一卷里的s41531-023-00562-5。这种“高智商幻觉”往往比胡乱编造更隐蔽。Gemini的稳健与瑕疵Gemini在这道题上的表现展现了它一贯的数据检索功底。它一共给出了5篇文献，5个DOI经查验全部真实有效，标题逐字吻合。从证据链条来看，Gemini的组织也很完整：从覆盖1700万人的超大样本Meta分析，到用双向孟德尔随机化（Mendelian Randomization）从基因层面做因果推断。其中那篇双向因果推断的研究，恰恰是少数…