NV-Reason-CT：用于 CT 分析的 3D 视觉语言模型

研究团队发布 NV-Reason-CT，一个面向胸腹部 CT 的生成式视觉语言模型，将原生 3D 视觉编码器与语言模型耦合，全部视觉 token 及其显式 3D 坐标直接进入语言解码，不做空间 token 合并。训练语料约 55 万条多模态指令样本，来自 70,111 例 CT 输入，并结合标准化报告、异常与解剖问题、多轮交互及放射科医生推理文本。训练流程为端到端 SFT 后接 GRPO，并设置可验证奖励。

常见做法是把 3D 体数据压成 2D 切片或合并空间 token 再交给语言模型，会损失体空间信息。该工作保留原生 3D 编码与坐标传递，并引入放射科医生推理监督和可验证奖励的强化学习，使模型在无专用分类头的情况下输出分类、报告和可复核推理，评测同时覆盖公开基准与留出队列。

机制上，原生 3D vision transformer 保留体数据特征，视觉 token 连同显式 3D 坐标传入语言解码，使位置编码在文本与视觉联合处理中持续承载空间关系。训练分两步：先用专家标注和报告衍生的合成推理做监督微调，再用 GRPO 在胸腹部异常集合上以可验证奖励优化，从而把输出对齐到可判定的异常结论。

对影像产品而言，无需为每类异常单独训练分类头，可用同一模型覆盖异常分类、报告生成与交互式问答，降低多任务维护成本。可复核的观察、鉴别诊断与不确定性输出更贴近审核流程，便于医生在 AI 辅助下复核，也便于把放射科医生的解读记录转化为训练数据资产。

• 在影像报告工作流中接入统一模型，先用其生成初稿与异常提示，再由医生修订并回收修订数据。
• 面向胸腹部 CT 筛查场景，构建带不确定性标注的辅助复核界面，把鉴别诊断与可复核依据一并展示。
• 将机构内既有标准化报告与专家解读转写为多模态指令数据，形成可迭代的私有微调与评测集。

• 摘要中专家放射科医生的 AI 辅助评审结果被截断，具体偏好方向与规模未确认。
• CT-RATE 之外在留出 NIH 队列上的具体指标未给出。
• 报告生成指标为报告衍生的 macro-F1，其与临床可接受质量的对应关系未说明。
• GRPO 所依赖的可验证奖励在胸腹部异常集合上的覆盖范围与判定规则未公开。