AMLworld-Compact：用重要性加权降采样降低 LLM 评测与错误诊断成本

研究者发布 AMLworld-Compact 评测集，保留全部非法测试交易，并按监督分数分层抽采样良性交易。其 HT-Coreset 协议在 HI-Small 与 LI-Small 上将评测目标分别减少 271 倍和 611 倍。Horvitz-Thompson 权重可对固定预测给出无偏混淆计数估计，召回率精确，精确率与 F1 为比率估计。

此前在 AMLworld 最小测试集上评测大模型成本很高，因为上百万目标各需一次图提示。均匀抽样的平衡子集又会改变未加权精确率与 F1。该工作用分层加权抽样在压缩评测规模的同时，保持对全测试集混淆计数的无偏估计，并公开了评测集与构建代码。

机制是把评测集构造转化为分层抽样问题：保留全部非法样本，良性样本按监督分数分层抽取；再用 Horvitz-Thompson 权重校正抽样概率，使固定预测下的混淆计数估计无偏，召回率精确，精确率与 F1 由比率估计得到。分层依据来自 Graph Feature Preprocessor 特征，并以留出方式验证跨模型族的稳定性。

对做反洗钱模型评测的团队，可在目标数减少两个数量级的情况下估计全测试集指标，显著降低图提示推理成本。发布的评测集、构建代码和审计工具可直接接入现有评测流程。但保守区间仍较宽，且评测中的七个开源权重模型加权精确率接近“全部判为非法”基线，说明精度指标需谨慎解读。

• 将 AMLworld-Compact 评测集与 HT-Coreset 构建代码接入内部 LLM 反洗钱评测流水线，替换全量图提示评测以降本。
• 基于公开的审计工具，对模型输出做结果分层审计，量化词面标记与正确性之间的偏差。
• 在自有钱包或交易数据上复现分层加权抽样流程，验证能否用更小评测集获得可接受区间的 F1 估计。

• HT-Coreset 协议和加权估计在 AMLworld 之外的图数据集或任务上是否仍然有效，证据未覆盖。
• 保守区间较宽的具体原因和缩小方法，原文未给出完整分析。
• 七个开源权重模型的加权精确率接近预测全非法基线，是否意味着这些模型在此任务上缺乏判别力，证据不足以断定。
• 词面检查在 56.2% 错误判定上仍通过，对自动评测流程的误判风险有多大，原文未展开。