Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs

1. 以2500个科学概念、5个学科领域和18个模型构成的对照实验显示，科学微调模型在OFS、VeriScore和CiteHal上普遍低于对应通用底座模型，说明“懂科学语料”不等于“更少幻觉”。
2. 科学模型呈现出“语言更肯定、内部更不自信”的分离：linguistic certainty更高、parametric certainty更低，支持其更像学到了科学写作语气，而不是更可靠的知识。
3. 三类事实性问题彼此相关性很弱，说明不可验证、过度断言和引用幻觉是不同故障模式，不能用单一指标概括。
4. 人工验证只得到有限一致性，VeriScore与专家判断仅中等一致，而OFS更弱，说明当前通用事实核验工具迁移到科学场景时仍然不稳，且“科学上可核查”本身就存在标注分歧。

构建了SciFactCheck基准：从ORKG五个领域各抽取500个科学概念，共2500个概念，基于综述/评论论文生成200词开放式段落，再生成APA格式参考文献；评测18个模型，包括Qwen2.5、Llama-2/Tulu-2、Qwen3/S1-Base、Llama-3.1/OpenScholar，以及GPT-4o-mini和Sonar。自动评测覆盖VER/OVR/ATR三类幻觉，其中OFS与CiteHal全量评测，VeriScore受算力限制仅在8个模型上运行；相关性分析使用6个完整评测模型。人工验证部分抽取50个概念、958条claims，5个领域各2名标注者，验证check-worthiness与 factuality。