多智能体辩论能否改善AI对研究论文的反馈？实验表明作者更偏好单次结果

一项针对44篇经济学元分析的预注册实验让作者比较单次AI反馈与两种多智能体辩论工具的反馈有用性。作者更偏好单次通过，其排名分别高出0.66和0.57分，而多智能体工具消耗了约30倍token。此外，AI法官对反馈的排名与作者偏好相反，提示不能用AI替代人类判断。

此前多智能体辩论被认为能提升AI输出质量，但该实验直接对比了单次与多智能体对论文反馈的可感知有用性，发现作者反而更偏爱单次，且多智能体成本高、结果不优。这挑战了在多智能体在学术审稿辅助中的价值假设。

多智能体辩论通过多个模型实例交换观点试图获得更审慎结果，但实验中作者认为单次通过更有用；可能因为多智能体输出更长或更分散，而作者需要简洁针对性建议。此外，AI法官偏好与作者偏好不一致，表明AI自我评估可能不可靠。

若产品依赖多智能体辩论生成论文反馈，该实验表明可能效果不佳且成本高昂；单次通过更受作者认可。建议产品优先优化单次生成质量，而非复杂辩论流程。同时也警示不要将AI评价作为论文评审自动化替代。

• 开发面向学术作者的简洁型AI论文反馈工具，专注单次通过生成高可用建议以降低token消耗
• 在AI辅助审稿系统中引入人类偏好校准机制，而非直接采用多智能体辩论输出作为最终结果
• 探索单次生成后允许用户提问/追问的交互模式，平衡效率与迭代需求

• 该结论是否适用于其他学科（如计算机科学）的非元分析论文？
• 多智能体辩论在其他任务（如代码审查或通用写作）中是否仍然优于单次通过？
• 如果使用不同模型家族（如Claude系列）作为辩论参与者，结果是否一致？
• 对未完成论文（草稿阶段）的反馈，作者偏好是否与已完稿论文相同？