智能体系统
Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population
Mirko Degli Esposti
2026年7月4日
核心发现
- 七项预注册可控性标准全部通过所有温度(t∈{0.2,0.5,0.7}):人格保真度r>0.80、跨副本稳定性r_min>0.85、仪器噪声σ_instr≈0.77(约为跨代理估计的一半)、安慰剂特异性null effect、刺激敏感性与预期效价一致、条件排序肯德尔τ=1.0@t=0.2和t=0.7、受众接收检查所有主题条件均显著异于无信息对照。这是仪器在已知潜在结构下内部效度的完备证明——为外部效度研究奠定必要基础。
- POSW/POSW2校准循环暴露设计者未察觉的刺激偏差并演示自我纠正机制:标记为"弱正向"的MSG_POSW产生Δ=-0.508(信任)和Δ=-1.192(信息充分性),低于中性对照,因文本编码"问题+不确定+机构被动"的模式对怀疑受众读作"机构推诿"。重新设计的POSW2(主动行动+承诺可得性)产生Δ=+0.108,POSW2-POSW差异Δ=+0.617,p<0.001跨所有温度鲁棒,排序标准从τ=0.600(非显著)升至τ=1.0(p=0.0004)。这完整演示了仪器的诊断效度:识别→分析→纠正→验证。
- 群体特异的态度放大而非转移机制:相同刺激在LOW/MED/HIGH潜在信任群体中产生相反符号或显著幅度差异。POS条件下LOW群现Δ=-0.350@t=0.2(好消息对不信任者强化怀疑)而MED/HIGH群Δ>0;POSW2中LOW群Δ=-0.575~-0.950(例行监测读作"就这么点")vs MED/HIGH群Δ≈+0.2~+0.7;NEG条件HIGH群损失最大Δ=-2.125(初期期望最高故沮丧最深)。这格局心理上一致,证明仪器捕捉真实的异质响应动力学而非随机噪声。
- 单档案20次重复实验精确隔离仪器内部噪声σ_instr≈0.77,约为跨代理估计σ_cross≈1.4的一半:剩余0.6来自真实群体异质性(不同档案对相同刺激的基线响应差异)而非仪器随机性。噪声跨温度稳定(0.739-0.810无漂移),但档案相关性显著(LOW群σ≈0.8-1.0 vs MED群σ≈0.5-0.7),提示态度模糊档案产生更随机的响应——这是心理学可解释的模式(不确定性导致更多探索性采样)。
- 微观轨迹定性异质性不可约聚合统计:四个NEG条件下的代表性档案(Marco/Roberto/Giulia/Elena)虽信任Δ相近(-1到-2),但机制定性相反——(1)Marco(LOW工人)→确认性偏差强化的对抗性沉默,(2)Roberto(LOW技术员)→激活的系统性civic mobilization,(3)Giulia(MED市政职员+居民)→机构与公民自我分裂但可信度反升(6→7)因坏消息诚实性,(4)Elena(HIGH教师)→可信度剧烈坍塌(9→4,-5点最大幅度)因其信任根基在信息质量。聚合Δ≈-1.5掩盖的是不可还原的个体心理动力学。