看似完整不等于有据：LLM灾情简报与人工报告对比评估

该论文提出用专业人道主义灾情报告构建15槽位信息框架，评估五种灾害、三类灾种下121份人工报告与261份LLM生成报告。在Cyclone Idai上，最佳机器配置得分0.827略高于人工上限0.821，但差异不显著（bootstrap CI含零，p=0.852），且在openai/gpt-5.6-luna上排序不复现。三个主要事件中机器报告仅复现同日官方数据的5.4%–11.0%，来源标注维度在全部12个事件-评委单元中均缺失。

此前对LLM报告质量的评估多依赖易比较的自动指标，而非从业者真正需要的信息维度。该研究用人工确认的15槽位框架和多模型重复性检验，显示单一模型上的领先可能只是噪声，且现有指标（ROUGE-L无信息量、BERTScore与完整性负相关）无法反映实际可用性。

研究先通过LLM辅助、作者确认的定性内容分析，从专业灾情报告中抽出15个信息槽位作为评估基准，再对人工与机器报告打分并做bootstrap与置换检验。来源溯源缺失与官方数字低复现率的机制在于：模型输出更易与其他机器/社媒文本做字面匹配，而非绑定到权威官方发布的时间、机构与序列信息。

对做应急、情报或报告自动生成的产品，评估不能只看流畅度与字面相似度，需要按信息槽位和来源溯源逐项校验。多模型交叉复现应成为上线前常规步骤，单模型高分不足以支撑发布决策；同时需为报告日期、机构、序列、权威性等字段建立显式结构化输出与校验。

• 为灾情/应急类报告工具增加15槽位结构化模板，并逐槽位标注来源与缺失项，替代单一相似度打分。
• 在评测流水线中加入多评委与多模型复现检验，将chance-corrected κ与显著性子作为发布门槛。
• 对官方数字提供显式引用与时间戳绑定，降低机器报告与社媒文本的字面相似依赖。
• 为溯源字段（日期、机构、序列、权威性）建立必填校验与缺失告警。

• 15槽位框架在其他灾种或语言上的适用性是否经过验证？
• 机器报告复现官方数字比例偏低，是检索能力不足还是生成阶段丢弃来源所致？
• 4/25官方匹配的人工审计结果是否意味着自动匹配指标存在系统性高估？
• 该评估结论是否在超过两个模型家族之外仍成立？