Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

1. 事实属性可在早中层被“锁定”后稳定输出，说明属性检索在到达某一充分层后就不再依赖后续层继续加工。
2. 最小计算路径通常不是单层，而是由多个必要层组成，且大量路径跳过中间层，支持“分布式而非局部化”的属性计算。
3. 同一事实往往存在多个功能等价的最小路径，且替代路径更深、更长、更稀疏，说明模型内部存在显著冗余与备份机制。
4. 路径终点层的表示并不总是独立充分，很多情况下仍需前序路径层共同参与，表明属性读取是一个多步组合过程而非单点读取。

在 LLaMA 3.1 8B（32层）和 Qwen3 8B（36层）两种开源解码器模型上实验；从 CounterFact 数据集中各筛选 2000 条单 token、且模型本身能正确预测的事实问答 prompt。使用 NNsight 实现 lock、isolate、representation knockout、downstream injection、global broadcast 等干预，并在多 token 实体子集上用 Patchscopes 进一步分析实体解析，样本量分别为 LLaMA 1972 条、Qwen 1945 条。