MetroLLM-Bench：把语言模型当作地铁自助终端运行层来评测

论文提出 MetroLLM-Bench，一个含 955 个案例的基准，用于测试语言模型作为地铁自助终端策略层的能力。它覆盖六个真实地铁系统（37 至 414 站）与路由、票价、故障、无障碍、对抗输入等十一类场景，要求模型调用结构化工具并输出机器可渲染的终止状态。在留出集上，经 PEFT 训练的 4B Qwen 3.5 在 Tier 1 得 91.3，超过 GPT-5.6 两档，接近 GPT-5.4 满推理档，量化体积 2.6 GB。

此前评测多聚焦通用问答或工具调用，缺少面向具体业务终端、要求机器可渲染终态与票价报价的基准。该基准首次把地铁自助终端作为运行环境，并显示小模型经参数高效微调可在确定性指标上超过大模型，改变了“必须用大模型做业务策略层”的默认假设。

任务被拆成两层：Tier 1 由十四个确定性评分组件构成，覆盖结果、票价与终端动作；Tier 2 由八个语义质量组件构成，其中六个用语言模型评审。模型必须调用结构化工具并提交可渲染终态，使评分可自动执行。PEFT 让学生模型贴合特定轨道交通策略分布，因此在确定性指标上缩小甚至反超通用大模型的差距；但随着模型规模增大，微调增益从 2B 的 +7.03 点降到 27B 的 -0.91，说明基准难度对大模型更易被预训练能力覆盖。

对产品与研发的直接含义是：在地铁终端一类封闭业务域，可优先评估小参数模型加 PEFT，而非直接调用大模型 API。2.6 GB 的 Q4_K_M 占用意味着本地或边缘部署可行，降低推理成本与延迟。评测集按 717/238 分层划分，可用于生成训练数据并留出验证，便于构建可复现的迭代流程。

• 在地铁或交通自助终端场景，用 MetroLLM-Bench 的 717 例训练分区生成微调数据，先验证 4B 级模型的 Tier 1 表现再决定是否采购大模型 API。
• 将 Tier 1 的确定性评分组件接入 CI，作为策略层回归测试，防止票价计算和终端动作在迭代中退化。
• 针对 2B 至 27B 的 Qwen 规模做微调收益扫描，用实测增益判断自研小模型与调用外部 API 的成本平衡点。
• 把票价报价与机器可渲染终态作为接口契约，用于评估现有终端软件与模型策略层的集成成本。

• Tier 1 相对规则基线 84.6 的剩余模型优势具体集中在哪些案例类别，是否可稳定复现？
• Tier 2 的语义质量分数与 Tier 1 确定性分数在留出集上的相关性如何，是否存在互斥？
• 在真实地铁生产环境中，2.6 GB Q4_K_M 模型的延迟、并发与硬件成本是否可接受？
• 该基准的对抗输入类别覆盖程度如何，是否足以支撑安全相关的上线决策？