从诊断到再设计：利用定量人种志改进多智能体LLM推理

该论文提出一种基于定量人种志（QE）的方法，用于诊断和重新设计多智能体大语言模型（LLM）系统。研究者以自动作文评分为例，使用认知网络分析（ENA）建模一个五智能体辩论系统，发现正确评分决策与基于量规的论证、一致性和详细阐述相关，而错误决策则缺乏量规依据。根据这些发现修改提示词后，精确评分准确率从27.78%提升至40.28%，错误辩论的互动模式也转向接近正确模式。

此前优化多智能体LLM系统多依赖试错或黑盒调参，缺乏系统诊断方法。本文首次将定量人种志与认知网络分析引入该领域，通过分析智能体间的对话模式定位性能瓶颈，并提供可操作的提示词重设计路径，为提升复杂推理系统的可解释性和效率提供了新范式。

多智能体系统通过智能体间交互产生话语，这些话语模式隐含推理质量。定量人种志结合认知网络分析，将交互模式量化为网络结构，对比正确与错误案例的差异，识别关键推理特征（如量规依据）。基于诊断结果调整提示词，引导智能体交互转向有效模式，从而在不改变架构的情况下提升任务准确率。

对于依赖多智能体LLM的AI产品，该方法提供了一种低成本优化路径：无需更换模型，仅通过分析交互数据并修改提示词，即可显著提升任务准确率（本研究提升12.5个百分点）。同时，该方法可增强系统可解释性，帮助产品团队定位推理失败原因，缩短调试周期，改善最终用户体验。

• 构建一个诊断工具，利用定量人种志分析多智能体系统的交互日志，自动识别低效的对话模式，并生成针对性的提示词修改建议，以提升任务准确率。
• 在客服或内容生成等场景中，利用该方法持续监控智能体协作质量，建立指标看板，实时反映推理健康度，辅助运营决策。
• 开发基于认知网络分析的评估模块，用于A/B测试不同提示词设计，在部署前完成效果验证，降低上线风险。

• 该方法在除了自动作文评分之外的其他任务（如代码生成、复杂问答）中是否同样有效？
• 准确率提升是否能在不同模型架构（如GPT-4、Claude）和不同智能体数量（如3个、7个）下复现？
• 修改提示词后，系统在更广泛的数据集上是否会出现过拟合或性能回退？
• 当前研究是否包含足够的样本量来保证统计显著性？论文中未提供样本规模细节。