恶意节点下P2P分布式大模型推理的完整性保障方法

arXiv上发布了一篇论文，提出在P2P分布式LLM推理中，通过向请求流混入秘密canary输入并测量节点传递的激活值与已知正确值的偏差，利用概率测试区分良性节点硬件噪声与恶意篡改，从而识别恶意节点，保证推理完整性。

此前完整性检查只测试精确正确性，无法容忍良性节点间的正常变异；本方法利用激活值偏差分布进行概率测试，在忽略硬件噪声的同时识别恶意篡改，使分布式推理在不可信节点环境下更加可行。

方法核心：提议者预先计算秘密canary输入的正确激活值，将canary混入真实请求。节点无法区分canary与真实请求，篡改会同时影响canary。通过测量每个节点传递的激活值与正确值的偏差，将节点归入良性噪声分布或恶意篡改分布，无需固定阈值即可判定恶意节点。

该方法为P2P分布式推理系统提供了完整性保障，但需额外插入canary输入并监控激活值偏差，增加了系统复杂度和计算开销；不过相比重算整个前向传播，其成本更低。

• 该方法在真实大规模分布式推理中的性能开销如何？
• 是否能够抵抗合谋的恶意节点联合攻击？
• 该方法的检测成功率受网络噪声影响多大？
• 如何在不降低用户体验前提下确定canary的比例？