对齐LLM模拟考生与人类考生的心理测量校准：一种认知诊断画像方法

一项新研究提出认知诊断画像（CDP）方法，用于对齐LLM模拟考生与人类考生的心理测量特性。在Tatsuoka分数减法数据集上，CDP通过零样本提示生成具有多样认知画像的模拟考生，在能力分布、掌握画像和项目难度三个层面显著提升对齐效果。最强配置（Gemini 3.0 Flash Thinking）下，项目难度估计的斯皮尔曼相关性从0.24升至0.86/0.90，均方根误差从6.31降至1.30/0.90。

传统的心理测量校准依赖昂贵的人类数据，而LLM模拟考生虽然成本低但过于准确和均匀。CDP首次通过认知画像采样解决了这一偏差，使LLM模拟考生在心理测量指标上接近人类，为早期测试开发提供了低成本、可操作的替代方案。

CDP将二元属性掌握模式转化为自然语言描述，并在无信息或有信息分布下采样，从而引导LLM模拟不同认知水平的考生。通过能力分布重叠、掌握画像加权相关性和项目难度恢复三个层面的评估，CDP有效缩小了模拟与人类数据之间的差距。

对于教育测试产品，CDP可大幅降低心理测量校准阶段的人力成本和时间，使测试开发团队能在无大量真实考生数据的情况下进行项目难度估计和测试设计优化，从而加速产品迭代。

• 开发基于CDP的教育测试校准SaaS工具，帮助在线教育平台在早期快速获取项目参数
• 评估CDP在非教育领域（如性格测试、职业技能认证）的心理测量适用性

• CDP在不同类型测试（如自适应测试、开放性试题）上的效果是否一致？
• CDP是否依赖特定LLM架构（如Gemini Thinking），在其他模型上能否复现？
• 有信息分布相比无信息分布带来提升的条件是什么？