GHR-VLM：零样本公交视频分析的可落地混合推理方法

GHR-VLM 提出一种基于边缘-云协同的零样本公交视频分析框架：边缘端轻量模块持续监控车门并分割乘客片段，后端 VLM 通过粗到细的时空证据细化识别登车乘客和支付行为，避免支付专用训练数据并降低云端推理成本。在486分钟真实公交监控视频上的评估显示了乘客级支付分析的潜力，但低质量视频仍是挑战。

此前零样本视频分析要么依赖监督标注，要么直接将 VLM 应用于长视频（不可靠且昂贵）。GHR-VLM 通过轻量边缘端执行视觉接地，大幅减少云端 VLM 调用次数，同时无需支付行为训练数据，使零样本乘客分析在成本与性能上变得可行。

边缘端模块跟踪车门开关并剪切乘客片段（视觉接地），后端 VLM 只接收这些紧凑片段和联系单，通过两阶段粗到细的时空证据细化，分别识别登车乘客和分类支付行为。该设计利用了视觉接地提升 VLM 推理准确性，同时避开了长视频逐帧分析的巨大开销。

对公交视频分析产品，该框架可嵌入现有摄像头系统（边缘端），无需更换硬件或不间断上传视频流。产品可实现实时零样本乘客计数、支付合规检测，节省云端带宽和标注成本，但低光照、遮挡场景下性能需优化。

• 为公交运营方提供零样本乘客计数与支付验证 SaaS，对接现有摄像头即可使用。
• 与边缘计算设备厂商合作，将轻量门控跟踪模块预集成于摄像头 SoC 中，实现超低延迟推理。
• 将同一“接地+混合推理”架构扩展到地铁闸机、超市通道等类似场景的零样本人物行为分析。

• 在极低光照、严重遮挡或视角变化时，边缘端分割准确率会下降到什么程度？
• 后端 VLM 是否必须为大模型？选择不同规模模型对成本与精度影响如何？
• 该框架是否已通过实际公交线路长期运行验证，还是仅限于论文中的486分钟评估数据？
• 乘客隐私保护（如人脸模糊）在边缘端如何实现，是否影响后续 VLM 分析？