使用贝叶斯网络的LLM多智能体系统运行时不确定性监控

本文提出一种基于贝叶斯网络的不确定性传播方法，用于基于大语言模型的多智能体系统在精算风险建模中的运行时监控。该方法将各智能体token级log概率经长度归一化后转换为校准的任务级置信度，再输入贝叶斯网络以量化整个工作流的不确定性。实验表明，该框架在保持基线精算性能的同时，提供了对工作流稳定性和不确定性传播的额外洞察。

此前LLM多智能体系统缺乏系统性的不确定性监测手段，常依赖未校准的log概率。本文通过贝叶斯网络将校准置信度融入多步骤协作，使高风险管理场景（如精算定价）能实时识别不可靠输出，降低错误风险评估和合规风险。

核心机制是：将token级log概率进行长度归一化，再转换为任务级置信度（而非直接作为正确概率），这些置信度作为贝叶斯网络的输入节点；贝叶斯网络通过条件概率关系传播不确定性，从而在运行时监控各智能体输出质量和整体工作流稳定性。

精算自动化产品（如定价、准备金计算）可集成此框架，在每步推理后输出不确定性指标，帮助风控人员及时发现异常。需额外增加计算资源（贝叶斯网络推理），但能提升模型输出的可解释性与可靠性，降低监管部门对“黑箱”的担忧。

• 基于该框架开发面向保险公司的精算建模SaaS，内置多智能体协作与不确定性仪表盘。
• 将贝叶斯不确定性监控模块封装成API，供其他高可靠性多智能体系统（如金融风控、医疗诊断）集成。

• 该方法在真实生产环境中的推理延迟和成本是否可接受？
• 贝叶斯网络结构是否需针对不同任务手动设计，能否自动学习？
• 校准置信度的方法是否对模型（如GPT-4与开源模型）敏感？
• 是否适用于除精算之外的通用多智能体任务（如客服、代码生成）？