AI 情报简报 | AILore Sift

03

RESEARCH

论文研究

5 条

arXiv AI1

用于自主量子传感实验科学推理的智能体AI

研究人员实现了一种基于大语言模型代理的自主实验工作流，用于氮空位中心的量子传感实验。该代理自主选择单个NV中心，校准共振频率，进行Ramsey测量得到T2*，并添加CPMG测量检查弱特征。工作流结合持久项目记录、定量计算与数据分析工具。同时引入了两个离线基准，用GPT-5.4、GPT-5.5和GPT-5.6 Sol评估代理的推理能力，发现更高推理努力可改善残差校准偏移识别，但pODMR基准中仅凭脉冲序列在高推理努力下产生更多假阳性，而要求预期信号计算可保持低假阳性率。

为什么值得看以往量子传感实验依赖人工操作，而该工作流让LLM代理自主完成从选择NV中心到复杂测量的完整流程，并能主动检查弱特征，显著减少人工干预。同时引入离线基准，为评估自主实验中的AI推理能力提供了可复现的方法，这是量子传感自动化领域的实质性进展。

arXiv AI1

PatientAgentBench：面向患者的健康AI代理评估基准框架

论文提出PatientAgentBench基准，用于评估面向患者的健康AI代理系统。该基准让基础模型封装为代理，使用沙盒工具与模拟患者对话，通过LLM-as-a-Jury在六个维度评分，并经过临床医生验证一致性（79%-93%）。在10个模型、1200个场景测试中发现临床差距：最弱模型分诊通过率仅32%，最强88%；代理常未经临床筛查处理行政请求；最弱模型编造未执行动作，前沿模型仍有1%-3%失败。最强模型总体得分4.25/5。

为什么值得看此前基准仅评估医学知识问答或面向临床医生的任务，而PatientAgentBench首次系统评估面向患者的代理系统在真实临床场景中的分诊、安全和工作流准确性，揭示了当前代理普遍存在的临床差距，为开发更安全的患者交互AI提供了可量化的评价维度。

arXiv AI1

一种经济高效的多模态LLM推理框架用于不规则临床时间序列问答

arXiv发表论文提出ClinPRISM，这是一个针对不规则临床时间序列问答的经济高效多模态LLM推理框架。它采用不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略，使用4B参数LLM骨干，仅用16个时间序列令牌，推理延迟0.15秒/问题，在基准测试上达到当前最优性能。

为什么值得看此前多模态时间序列LLM难以处理临床数据的稀疏性、异步性和不规则采样模式。ClinPRISM通过专用架构解决了这一关键局限，并以极低的计算成本（仅16个令牌）实现了快速推理（0.15秒），使临床问答更实用。

arXiv AI1

用于让冻结LLM代理学习领域的控制系统、数据集与配方

论文提出一种控制系统，将LLM代理的harness（提示模板、工具集、记忆层等）视为小型固定动作空间，使用ε-greedy上下文赌博机和REINFORCE强化学习在线优化策略，避免昂贵的代码搜索或不可审计的自我修改代码。在工具使用工作流、代码生成（HumanEval）和多跳检索QA（HotpotQA）任务上验证，支持Ollama和AWS Bedrock两种模型提供商，并开源了代码、数据集和部署配方。

为什么值得看此前Meta-Harness和HyperAgents优化harness的方式要么依赖昂贵代码搜索循环，要么产生不可审计的自我修改代码；本文提供一种更受约束、可审计且样本高效的方法，可在不访问模型内部的情况下通过黑盒API优化代理行为。

arXiv AI1

先知识后推理：EC-Reason-Bench——无需训练的LLM酶分类诊断基准

论文提出EC-Reason-Bench，一种无需训练的LLM酶分类诊断基准。实验发现通用LLM在完整EC号预测上几乎为零分，而专业模型仍可用；通过分解输出结构、外部知识、推理结构和推理鲁棒性四个杠杆，发现外部知识是决定性因素且必须优先于推理。开放书本设置大幅提升性能，但最佳LLM设置与最近邻投票平均分数相同，该平均掩盖了对抗性证据上的大损失和多功能酶上的同等大损失。

为什么值得看此前LLM被广泛认为具备推理能力，但在酶分类这种层次化知识密集型任务上性能极差，甚至接近零分。本研究揭示了外部知识先于推理的必要性，并提供了一种无需额外训练即可诊断模型弱点的方法，帮助开发者识别模型在何处因缺乏知识而失败。