公平性剪枝：通过差分激活定位GLU-MLP层中的人口统计偏见

论文提出Fairness Pruning方法，通过最小对比提示对和推理时激活捕获，在GLU-MLP层的down_proj输入处识别对人口统计属性差异反应的神经元。在以3B参数为上限的模型（Llama-3.2系列和Salamandra-2B）上评估，置零最多40个神经元（小于MLP总宽度的0.031%）可保留99.49%的推理和通用知识能力。但干预导致双向偏差不稳定，因为BiasScore无符号，候选集合混合正向和反向神经元。

该方法能以极小代价（不足0.031%的神经元）定位偏见相关神经元，且保留超过99%的模型能力，表明偏见处理与能力可分离。相比之下，现有方法可能盲目置零，影响模型性能。该研究为从盲目去偏转向方向性行为调控奠定方法论基础，为构建更公平的LLM提供了新思路。

该方法利用最小对比提示对（如仅改变人口统计属性词的句子），在推理时捕获GLU架构中MLP层的激活值，计算神经元对属性词的反应差异，以BiasScore排序筛选差分激活神经元。置零这些神经元会改变模型对相关人口变量的响应，但由于BiasScore无符号，筛选出的神经元可能同时包含强化和削弱刻板印象的单元，导致净效应取决于多数派，引起双向偏差不稳定。

对使用Llama-3.2-1B等中小模型的产品团队，可将该方法集成到模型发布前的偏见审计流程，以极低计算成本定位偏见神经元。但需注意干预可能导致偏差向相反方向偏移，需配套评估工具监测干预后行为。该方法不影响训练流程，可作为推理时或部署后的轻量级修正手段。

• 开发自动化偏见审计工具，集成Fairness Pruning，用于LLM上线前检测偏见神经元并生成报告。
• 在模型部署管道中增加可配置的偏见修正开关，允许根据场景选择是否置零特定神经元。
• 构建干预效果监控仪表盘，跟踪置零后模型在敏感性话题上的输出变化，防止偏差反转。
• 探索将定位到的偏见神经元信息用于可解释性文档，增强模型透明度，满足合规要求。

• 该方法在更大规模模型（如70B）或不同架构（非GLU）上是否仍有效？
• 置零神经元后模型在实际应用中的安全性表现如何，是否会产生意外行为？
• BiasScore的符号信息能否被进一步利用，以实现方向性调制而非双向不稳定性？
• 对于不同语言和文化背景的人口统计属性，该方法是否具有跨文化泛化性？