设计基于人类对齐的鲁棒 LLM 评估系统，用于药物发现中的智能体 AI

arXiv 发表论文，介绍 AstraZeneca 的 ChatInvent 智能体药物发现助手所采用的 LLM-as-a-Judge 评估框架。该框架定义了四个质量评估维度，并通过五位专家注释者进行人类对齐验证，比较了四种大语言模型候选评审。通过少样本优化，将评审与人类多数投票的对齐度从 0.80 提升至 0.86，应用于 70 个保留问题后揭示了具体局限性。

此前药物发现领域的 LLM 评估基准未验证与人类专家的一致性，而本工作首次在 AstraZeneca 内部智能体上系统验证了 LLM-as-a-Judge 的对齐性，并展示了通过少样本优化提升对齐度的具体方法，为该领域的评估标准化提供了可复用模板。

LLM-as-a-Judge 利用大模型对输出进行语义评估，规避了 BLEU 等参考指标无法捕捉语义正确性的问题。通过人类专家标注与多数投票，对候选评审模型进行对齐评估，并利用少样本示例进一步优化，使评审更接近人类判断。同时，研究发现将用户问题先由 LLM 重写再查询智能体有助于提升输出质量。

对产品研发而言，该框架可直接用于智能体类产品的质量评估，减少人工评估成本，加速迭代。具体影响包括：建立可量化的质量维度（如完整性、相关性），通过自动评审替代部分人工审查；优化评估流程后，可更可靠地识别产品输出缺陷，提升用户体验。

• 在现有智能体产品中集成 LLM-as-a-Judge 评估模块，自动输出质量评分，辅助研发团队快速定位问题。
• 构建人类对齐的评估数据集，并利用少样本优化提升评审准确性，作为产品迭代的量化基准。
• 将用户问题重写功能纳入产品流程，以提升智能体对非正式表述的理解能力。
• 基于该框架开发面向药物发现或其他垂直领域的评估工具，对外提供评估服务。

• 该框架在除药物发现外的其他智能体场景（如客服、编程）中是否同样有效？
• 不同评审模型（如 GPT-5、Claude Opus 4.7）的对齐度差异具体有多大，是否受领域影响？
• 少样本优化后的评审在更大规模或更复杂任务上的泛化能力如何？
• 非正式表述重写是否在所有场景下都有益，是否存在反效果？