用教学适应性指数评估和改进基于 LLM 的 AI 导师的教学适配度

arXiv 论文提出 Pedagogical Suitability Index (PSI)，用于评估 LLM 驱动的 AI 导师在响应中是否匹配学习者基础与课程进度。研究者对 ChatGPT、Gemini、Gemma4、Qwen3 四个模型进行 240 次场景评估，基线 PSI 范围为 0.557 至 0.638，差异不大；通过 PSI 指导反馈，62 个弱表现案例中有 51 个（82.3%）得到改善。

此前对 LLM 导师的评估主要聚焦答案正确性，忽略教学适配这一关键维度。PSI 提供一个可计算的复合指标，并证明它能有效识别并改进教学不当的响应，这意味着 LLM 在课堂场景的应用质量评价有了更贴近实际需求的新工具，可能推动 AI 辅导产品从“答得对”转向“教得好”。

PSI 由六个基于理论的子分数构成，综合衡量 LLM 响应与学习者当前水平、课程顺序和概念引入时机的对齐程度。它既作为评估指标，也用作结构化反馈信号指导响应改进：对 PSI 得分低的案例，系统可依据子分数进行定向重生成，从而提升教学适配性。研究通过成对的标准提示和有缺陷提示在 240 个场景中评估，并对高风险案例执行 PSI 引导重生成，验证了该机制的实操性。

对于 AI 辅导类产品，PSI 可作为自动评估工具，帮助研发团队在发布前筛选教学不适配的响应，降低人工审核成本。同时，PSI 反馈可内嵌到响应生成流程中，实现“低适配响应自动重写”，提升产品在教学场景下的有效性，但需要额外计算资源来执行重生成，可能增加推理开销。

• 为 AI 辅导产品构建基于 PSI 的自动质量看板，实时监控教学适配度，并设置低分预警。
• 在响应生成管线中加入 PSI 引导的重生成模块，对低适配响应自动触发二次生成，提升用户学习效果。
• 基于 PSI 子分数开发诊断报告，帮助内容团队定位课程衔接或概念引入时机问题，优化课程设计。

• PSI 在实际课堂环境中的长期效果尚未有大规模用户研究验证，其教学收益是否可持续需要进一步确认。
• PSI 的六个子分数在真实教学任务中的权重分配是否最优，未在证据中说明。
• 研究方法是否对不同学科领域（如数学、语言学习）具有普适性，目前未覆盖。