EduPanel：用于教学视频的三智能体 LLM 评判系统——可靠性、互补性与人类信任校准

EduPanel 是一个基于规则和学习者条件的三智能体 LLM 评判系统，专门用于评估教学视频的教育质量。在专家研究和消融实验中，其可靠性达到人类专家中位数水平，专家使用其反馈后评分误差（MAE）从0.87降至0.73，且能有效检测系统不可靠输出（AUC=0.77）。结论是 EduPanel 可作为有效助手而非取代人类专家。

此前自动评判未充分处理教学视频的多模态证据与学习者条件，且易被盲目信任。EduPanel 实现了与人类专家中位数相当的可靠性，同时保留了人类发现其错误的机制，推动AI在教育评估中从替代走向协作。

EduPanel 将教学视频评估分解到三个专门智能体，每个负责不同方面（如内容、呈现、互动）。评估基于预设的评分规则并针对特定学习者画像进行条件化，从而产生可解释的分项评分，而非单一总分。

教育平台可集成 EduPanel 作为自动评分辅助工具，提升教学视频审核效率；教师培训系统可引用其反馈改进授课质量；但当前系统依赖专家校准，需保持人工复核流程。

• 将 EduPanel 作为开源评估内核集成到 MOOC 或企业培训平台，提供视频质量自动标签与改进建议。
• 开发面向教育机构的 EduPanel 托管服务，支持自定义评分规则与学习者画像，降低部署成本。

• EduPanel 在不同学科、语言和视频时长上的泛化表现尚未被证据覆盖。
• 系统在更大规模多模态教学视频库中的推理成本与延迟尚未公开。
• 不同学习者群体（如儿童 vs. 成人）对系统反馈的接受度是否有差异？
• 专家检测不可靠输出的 AUC=0.77 在真实工作流中是否足够？