领域锚定的候选选择用于代理式图像编辑：以阴影去除为例

本论文研究商用视觉语言模型在阴影去除任务中的表现。研究发现，直接使用生成编辑器可产生无阴影编辑，但存在幻觉等失败模式。研究者提出基于领域知识的候选选择流程，利用阴影形成物理原理指导，在ShadowRemovalRefine基准上CDD降至0.0075，比最强先前方法降低至少47%。结果表明商用模型不能取代传统低层视觉先验。

此前认为商用视觉语言模型可能取代传统低层视觉方法。该研究表明，直接使用存在物理错误，但结合物理先验的代理流程可显著提升性能，CDD降低47%以上，证实了经典先验与生成模型结合的价值。

商用视觉语言模型具有广泛视觉先验，但缺乏物理理解，可能将阴影误判为材质或结构。通过代理式流程，生成器生成候选，评估器筛选，并提示模型将阴影视为光照遮挡效应，从而提升一致性和质量。

对图像编辑产品而言，此方法可减少编辑中的幻觉和物理错误，提高输出可靠性。产品可通过引入领域知识引导的候选选择流程，平衡编辑效果与场景保真，但需要额外计算资源。

• 在图像编辑工具中集成物理先验引导的生成流程，减少阴影处理错误。
• 开发自动评估与重试机制，提升阴影去除等任务的鲁棒性。
• 基于该框架扩展其他物理相关编辑任务，如高光去除、反射消除。
• 提供领域自适应编辑API，帮助企业用户进行专业图像处理。

• 该方法在除去阴影外的其他图像编辑任务中是否有效？
• 商业生成编辑器的具体版本和配置未披露，影响可复现性。
• 实际计算成本和延迟是否适合实时应用？
• 物理先验的提示具体形式及对不同模型的通用性如何？