当派生测量误导：用特权模态可靠性证据量化并缓解LLM过度信任

论文提出派生特征过度信任（DFOT）概念，指LLM将派生测量当作直接事实使用。以生理感知为例，用5万个PPG-ECG配对记录测试，基线方法在修复和特异性等指标上提升1.82至6.69个百分点，但UHR增加0.67个百分点。

此前LLM常将派生数据当作可靠事实，缺乏系统性评估。该研究首次定义DFOT并提供量化指标，揭示过度信任的普遍性和危害，为改进LLM可靠性评估提供新框架。

派生测量的有效性依赖于具体情境。LLM无法辨别，易将其视为直接事实。研究通过PPG与ECG对比，用离线参考构建监督信号，设计多种指标量化不同场景下的过度信任及修复效果。

对依赖生理信号等派生数据进行决策的产品，需建立可靠性验证机制。该框架可用于评估LLM在医疗、可穿戴等领域的风险。修复方法虽提升准确率，但增加验证成本（UHR上升），产品需平衡。

• 开发LLM可靠性评估工具，内置DFOT指标，供医疗AI产品测试派生数据使用
• 在可穿戴健康应用中，为LLM输出增加基于ECG等参考模态的自动验证流程
• 设计用户提示机制，当LLM对派生数据过度信任时触发人工复核或告警
• 训练面向派生数据的LLM微调策略，利用特权模态蒸馏降低过度信任率

• UHR增加是否在统计上显著？置信区间包含零，需更大样本验证
• 该方法是否适用于非生理信号的其他派生数据类型？
• 基线的修复效果在真实部署中能否保持？
• 论文未提及发布平台，是否经过同行评审？