- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月8日 14:20
- 状态
- 单一信源
发生了什么
该论文称首次系统研究 LLM 的社会归因能力,聚焦责任与责备判断。作者依据归因理论构建了包含 Vignette 与 Reality 两个子集、共 7,639 个判断问题的基准,评估了 32 个主流 LLM 和 5 个非 LLM 基线,并提出基于探测的方法分析潜空间中 5 个关键归因维度及其对人类判断影响的一致性。结果显示,当前 LLM 与人类判断存在可测量但不完整的一致,且该一致性呈正相关。
为什么重要
此前 LLM 社会推理研究多集中在情感、道德或常识层面,缺少对责任与责备归因的系统测量。该工作首次以归因理论为框架构建大规模基准,并加入对内部表征的探测,把评估从输出层面推进到机制层面,为理解 LLM 在社会技术系统中的判断可靠性提供了可复用工具。
底层逻辑
论文以社会心理学的归因理论为参照,先设计贴近经典场景的 Vignette 与真实社会叙事的 Reality 两类问题,再通过探测方法检查 LLM 潜空间是否编码了 5 个关键归因维度,以及这些维度对最终判断的影响是否与人类一致。这样可在行为评估之外,观察模型内部是否具备与人类相似的归因结构。
产品与商业机会
对面向法律、客服、内容审核、协作决策等场景的产品,该基准可用于上线前评估模型在责任归属与责备判断上的偏差,降低因误判引发的用户投诉与合规风险。对研发方,探测方法可帮助定位社会推理失败来自哪些内部维度,从而指导数据配比与对齐策略,而非只做输出层微调。
- 将 7,639 个责任/责备判断问题纳入模型评测流水线,作为社会推理回归测试集。
- 基于探测方法开发内部诊断工具,定位模型在 5 个归因维度上的表征缺陷。
- 在法律、保险、平台治理等需要责任判定的产品中,增加归因一致性校验与人工复核环节。
- 针对一致性较低的归因维度构造定向微调数据,评估能否提升人类判断对齐度。
仍待确认
- 论文摘要未完整给出 32 个 LLM 与 5 个基线的具体得分排名和一致性数值。
- 正相关指的是与模型规模、能力还是其他因素相关,证据中被截断。
- 该基准与探测方法是否已开源、可复现,尚无信息。
- 在真实产品环境中,归因判断错误会造成多大实际后果,论文未涉及。