SafeRelBench：面向 VLM 驱动实体代理过程安全的空间关系感知基准

arXiv AI 发布 SafeRelBench，一种空间关系感知的安全基准，包含 507 个可执行样本（248 个空间关系样本和 259 个非空间控制样本），用于评估 VLM 驱动实体代理在家庭环境中的过程级安全性。测试了 7 个开源和闭源 VLM 驱动代理，发现模型在完成任务的同时普遍违反过程级安全约束，尤其在支撑、包含、接近等空间关系上存在安全失败。

此前安全评估多关注静态风险识别、不安全指令拒绝或最终状态完成，忽略了动作执行过程中空间关系变化带来的安全风险。SafeRelBench 首次将空间关系（支撑、包含、接近）作为核心安全维度，明确在风险动作前检查安全条件，暴露了任务成功与过程安全之间的实质性差距。

VLM 驱动代理通过视觉语言推理规划动作，但家庭安全不仅取决于识别物体，还取决于动作如何随时间改变物理场景的空间关系（如放置的物体是否得到支撑、是否与其他物体过近）。SafeRelBench 通过在风险动作前强制检查空间关系安全条件，将过程级安全融入评估，若代理执行动作时违反约束则视为失败。

对于开发 VLM 驱动实体代理（如家用机器人）的团队，必须将过程级空间关系安全纳入评估和训练流程，否则产品可能完成用户指令但造成安全隐患（如将物体放置在不稳定支撑上导致掉落）。需要提升 VLM 的空间关系推理能力，现有模型在安全合规上存在显著不足。

• 开发过程级空间安全检测模块，在代理执行风险动作前校验支撑、包含、接近等关系是否安全，可作为 VLM 推理的附加层
• 利用 SafeRelBench 数据集微调 VLM，专门提升模型在空间关系约束下的过程安全合规率
• 构建家用机器人安全合规审计工具，基于该基准对代理进行自动化测试，定位空间关系薄弱环节

• SafeRelBench 的样本是否覆盖了足够多样的家庭场景和空间关系类型？
• 不同 VLM 架构在空间关系安全上的失败模式是否有显著差异？
• 将基准中的过程安全要求迁移到实际机器人部署时，面临哪些工程挑战？
• 是否存在对抗性的空间关系场景（如非常规物体组合）导致安全评估失效？