迈向可泛化的基于语音的多模态大语言模型认知障碍检测

该研究提出一种基于开源大语言模型的多模态认知障碍检测框架，将语音音频的声学嵌入与自动转录的文本嵌入拼接为联合特征向量，用于下游分类。在ADReSS20和ADReSSo21基准测试上，该多模态框架达到92.4%的准确率，持续优于单模态基线，且无需访问原始敏感数据。

此前认知障碍的语音检测多依赖单一模态或手工特征工程，泛化性有限；本研究利用开源LLM融合语言与声学信号，在提升检测准确率的同时保护患者隐私，为低成本、非侵入式早期筛查提供了新路径。

框架分别从语音信号中提取声学嵌入、从自动转录文本中提取文本嵌入，通过拼接形成联合特征向量，利用LLM的表示学习能力同时捕获语言和声学线索，增强对认知衰退相关变化的表征，从而提升分类泛化性。

该方法可直接集成到远程医疗或移动健康应用中，作为语音驱动的认知筛查模块；由于基于开源LLM且不依赖原始敏感数据，部署成本较低但需要针对真实临床环境优化录音质量和模型鲁棒性。

• 开发面向老年人群的语音认知筛查App，利用本框架实现本地化推理，降低数据隐私风险。
• 将该多模态检测模块嵌入电子健康记录系统，作为诊前自动评估工具，减少医生手动筛查负担。
• 与听力辅助设备或智能音箱合作，提供日常对话中的认知衰退被动监测服务。

• 该框架在跨语言、跨文化人群中的泛化性能未在论文中验证。
• 实际临床环境中背景噪声、录音设备差异对检测准确率的影响尚未评估。
• 模型对不同严重程度认知障碍的灵敏度与特异性数据未披露。
• 是否需要针对特定患者群体（如听力障碍者）进行额外微调？