JigShape：通过拼图游戏评估视觉语言模型的视觉-几何推理

Hugging Face 每日论文发布 JigShape 基准，用拼图游戏的插片互锁设计评估视觉语言模型的视觉-几何推理能力。基准包含 95K 实例，覆盖 4x4 到 16x16 四种网格密度。研究发现，零样本模型大多缺乏几何推理能力，仅 GPT-5.5 在 4x4 上超过随机基线。微调模型在小网格上表现良好，但网格增大时性能急剧下降，出现“缩放悬崖”现象。

现有基准多使用矩形切割，在纹理重复区域存在歧义，而 JigShape 通过插片设计提供强几何约束，使得评估更准确。研究发现主流模型在几何推理上普遍薄弱，且规模增大时性能崩溃，这一发现挑战了当前 VLM 的能力边界，为未来模型设计指明改进方向。

拼图求解需要联合推理视觉内容和几何约束，插片互锁设计将几何约束转化为强局部兼容性要求，从而产生无歧义的标签。模型性能随拼图块数增加而急剧下降，表明现有架构难以在更大规模上维持一致的约束满足，隐含了注意力容量或关系推理的瓶颈。

对于依赖 VLM 进行图像理解的产品，如视觉问答或图像编辑工具，此研究提示现有模型在处理复杂几何关系时可能失败，需要谨慎设计任务并配备降级方案。同时，模型选择上应优先测试几何推理能力，避免在关键场景中误用。

• 在视觉语言模型的评测体系中加入 JigShape 基准，以筛选适合复杂视觉推理任务的模型。
• 研发针对几何推理的微调策略，例如结合图神经网络或显式空间关系建模。
• 为现有产品增加几何推理能力的专项评测，并据此优化提示词或使用监督微调。
• 开发针对大型拼图任务的分解推理框架，将问题分解为子任务以缓解性能崩溃。

• GPT-5.5 之外的模型在更大网格上的表现是否可通过新的训练数据或架构改进而提升？
• JigShape 基准是否可直接迁移到实际产品中的复杂几何推理任务？
• 监督微调在 12x12 上失败的具体原因是什么？是否与训练数据分布有关？
• 是否存在模型规模或训练技巧能突破“缩放悬崖”？