超越文本：基于 LLM 的多模态对话维度情绪评估

一篇 arXiv 论文提出基于 LLM 的多模态对话情绪评估框架，在 IEMOCAP 上同时做离散情绪识别与 Valence-Arousal-Dominance 连续维度评估，并把声学线索转成自然语言描述。作者对 LLaMA、GPT、Qwen 三家族六个模型做零样本、少样本提示与 LoRA 微调对比，发现微调后的 LLaMA 显著优于提示工程的更大 GPT 模型，最佳 Valence CCC 达 0.7822。

此前 LLM 情绪识别多停留在离散标签与文本模态，连续 VAD 维度评估和声学线索融合在对话场景中探索较少。该工作给出可复现的对比设置与 IEMOCAP 新 SOTA，并把微调与提示工程的差距归因于领域适配而非模型规模。

论文把语音声学特征转为自然语言描述，让 LLM 在统一文本接口下处理多模态情绪信号，再通过 LoRA 微调完成领域适配。消融结果显示，音频描述对较小模型提升 3.5 至 3.6 加权 F1，对最大模型帮助有限，说明声学线索的价值在语言能力受限时更明显。VAD 各维度表现差异与 IEMOCAP 标注者一致性层级相近。

对做客服质检、情感陪伴或语音交互的产品，意味着可用开源中小模型加 LoRA 微调替代大模型提示方案来降低推理成本，同时把语音线索转成文本描述可复用现有 LLM 管线。若需要连续情绪强度而非离散标签，VAD 输出可直接驱动动态响应策略。

• 在客服或语音助手场景，用 LoRA 微调 LLaMA 类模型替换 GPT 提示方案，验证同等情绪识别质量下的推理成本下降幅度。
• 将声学特征转自然语言描述的 SpeechCueLLM 思路封装为预处理模块，接入现有文本情绪分析管线。
• 针对连续 VAD 分数设计动态交互策略，例如按 arousal 或 valence 变化调整回应语气，并在小模型上优先验证。

• 论文结论仅基于 IEMOCAP，能否迁移到中文、多说话人或真实电话客服等场景尚未验证。
• Valence CCC 0.7822 的 SOTA 是否为同数据集同等评测协议下的可比结果，证据未给出完整对比基线。
• 声学描述对最大模型帮助有限的结论是否受提示模板与描述质量影响，尚无进一步消融。
• LoRA 微调与 GPT 提示方案在实际部署中的延迟、吞吐和成本差异未被量化。