从意图到行动：车载语音指令授权的 LLM 安全基准评测

arXiv 论文提出一项面向车载语音助手 LLM 授权的 202 场景基准，采用七类参考决策，评估两个本地开源模型与三个 API 模型。决策对齐率从 Llama 3.2 3B 的 40.1% 到 Gemini 3.1 Pro Preview 的 89.1%，API 模型间差异无统计显著性，但即使在 161 个非执行场景中仍出现 2 至 3 次误执行。

此前评测未把执行前的授权决策单独隔离，也未同时覆盖说话人角色、认证状态、车辆状态与工具可用性。该基准将安全评估从通用回答安全转向可执行动作前的决策对齐，暴露了高对齐模型仍有误执行的问题。

车载语音链路把自然语言请求映射为车辆功能调用，执行前需在七类动作中选择。结构化授权策略可提升小模型对齐率，但证据显示它不能消除误执行，因为决策对齐与实际工具权限、车辆状态约束是两层问题，需独立执行层在调用前校验。

对车载语音助手研发而言，仅靠提示词或结构化决策输出不足以安全调用车辆功能，需要在 LLM 之外增加独立强制执行层，校验工具权限与车辆状态。这会增加系统复杂度与验证成本，但可降低误执行带来的功能与安全风险。

• 在车载语音助手架构中增设独立工具调用执行层，对 LLM 输出做权限与车辆状态二次校验后再触发车辆功能。
• 围绕 202 场景基准与七类决策构建内部回归测试集，把误执行、需确认与手动接管决策纳入发布门槛。
• 为语音助手产品定义分角色与认证状态的授权矩阵，明确哪些指令需确认、拒绝或转手动控制。

• 该 202 场景基准的完整场景构成、七类决策的具体定义与评分细则尚未在证据中给出。
• 三个 API 模型的具体版本与 Gemini 3.1 Pro Preview 的可用性状态未说明。
• 结构化授权策略在更大模型或真实车辆数据上的效果是否可复现，证据未覆盖。
• 独立执行层的具体技术实现与部署成本，证据未提供可验证方案。