手语问答：手语理解的新任务、基准与基线

研究者首次提出手语问答（SLQA）任务，要求模型回答关于手语视频的任意自然语言问题，以更全面评估手语语义理解。基于PHOENIX14T和CSL-Daily构建了两个SignQA基准，通过模板自动生成问答对，覆盖位置推理、结构推理、视觉搜索、手势识别和翻译理解五类问题。还提出简单有效的基线模型，含问题条件调制时间下采样模块和领域内知识迁移策略。

此前手语理解任务（如识别、翻译）只要求模型学习固定映射，难以判断模型是否真正理解视频语义。SLQA任务要求模型回答任意问题，评估多种推理能力，为手语理解研究提供更灵活全面的评测框架，可能推动手语AI从感知走向认知。

SLQA框架将手语理解形式化为视觉问答：模型需同时理解视频内容与自然语言问题，并生成答案。模板生成问答对降低了标注成本。基线模型通过问题条件调制时间下采样，让特征提取更关注与问题相关的时段，并利用已有SLU任务知识迁移，提升性能。

对手语翻译、无障碍交流类产品有直接参考价值。产品或研发团队可借鉴SignQA基准来评估自家模型的理解能力，也可将问题条件调制模块集成到现有手语识别系统中，以提升对复杂语义问题的响应能力。注意：当前为论文阶段，暂无具体产品落地证据。

• 开发面向手语用户的智能问答助手，如查询手语视频中的动作顺序或场景细节。
• 在无障碍交流工具中集成SLQA功能，帮助听障人士通过自然语言与内容互动。
• 利用SignQA基准设计评测集，用于衡量和优化现有手语翻译产品的语义理解水平。

• SignQA基准的公开数据集和评估代码是否发布？
• 基线模型在真实场景中的性能与局限性如何？
• SLQA任务是否已有商业应用案例或产业化计划？