双路径大语言模型推理用于多模态少样本知识图谱补全

arXiv 发表论文提出 DuPLeR 框架，用于多模态少样本知识图谱补全。它结合多模态大语言模型的类型先验与事实支持结构，构建校准关系图并进行双层级结构推理，同时通过双路径多模态增强模块调节消息传递并补充实体表示。在八个归纳变体基准实验中，DuPLeR 在数据稀疏场景下表现稳健。

现有知识图谱补全在零样本和少样本场景下效果差，且多模态信息与 LLM 先验可能引入噪声。DuPLeR 通过双路径结构推理与多模态增强，提升了少样本 KGC 的鲁棒性，为数据稀缺环境下的知识推理提供了可行的新方案。

DuPLeR 包含两个路径：一条利用 LLM 类型先验和事实支持结构构造校准关系图，另一条在此图上执行双层级结构推理。双路径多模态增强模块在消息传递中注入查询相关的多模态信号，并在图传播后补充实体表示，从而抑制噪声并利用多模态信息。

该框架可提升知识图谱驱动的 AI 产品（如推荐、问答系统）在数据稀疏场景下的补全准确率，减少对大规模结构化标注数据的依赖，但证据未给出具体性能数字或部署案例。

• 将 DuPLeR 集成到现有知识图谱补全流程中，以改善少样本关系预测效果
• 利用多模态 LLM 类型先验构建更鲁棒的关系图，应用于冷启动实体补全
• 基于该框架开发面向特定领域（如生物医学）的少样本知识图谱补全工具

• DuPLeR 在工业级大规模知识图谱上的实际表现如何？
• 双路径模块的计算成本与现有基线相比是否可控？
• 多模态信号具体使用了哪些模态（如文本、图像），对噪声的容忍度如何？
• 论文是否计划开源代码或预训练模型？