FaulT-Bench：在不可靠用户工单下基准测试网络故障诊断LLM智能体

FaulT-Bench是一个针对网络故障诊断LLM智能体的新基准，包含200个场景，涵盖真实故障、错误报告等。测试发现现有智能体在准确工单上表现饱和，但在健康网络和错误工单下性能剧降。工单措辞比内容更关键，模糊报告导致性能大幅下降。

现有基准仅在准确工单且假设必有故障的条件下评估，脱离实际。FaulT-Bench引入虚假报告、错误归因等现实场景，揭示智能体在健康网络下的过度诊断问题，推动更贴近实践的评估。

该基准通过固定网络状态，仅改变工单中报告人的置信度和可验证细节，以隔离措辞影响。自动化平台在Kathará中部署场景，通过NIKA工具交互，用LLM评判器评分。实验显示智能体倾向于将良性状态提升为根因，而非得出无故障结论。

对网络运维产品，若集成LLM诊断代理，需警惕其在健康网络下的误报风险。模糊工单会导致性能骤降，因此产品需优化工单引导，结构化收集关键信息。同时，不同智能体失败模式差异大，选择时需权衡成本与稳定性。

• 开发工单预检工具，识别模糊或信息不足的工单，提示用户补充细节，以减少误诊。
• 在运维产品中增加“无故障”结论的置信度显示，避免LLM代理强制给出根因。
• 利用FaulT-Bench场景集，为内部LLM代理建立回归测试流水线，重点覆盖健康网络与错误工单场景。

• FaulT-Bench仅评估三种代理，其他主流LLM（如GPT-4、Claude 3.5）表现如何？
• 该基准能否泛化到真实生产网络的复杂性和规模？
• LLM评判器评分与人类专家诊断评分的相关性如何？
• 重写工单时，报告人个性特征的真实性是否影响结论的外部效度？