NVIDIA推出轻量化混合架构模型Nemotron-3.5-Lightning

NVIDIA发布Nemotron-3.5-Lightning-30B-A3B-NVFP4模型，总参数30B，活跃3B，采用MoE-Mamba-2混合架构，支持最长1M上下文，可单卡部署于DGX Spark或H100，支持多种硬件，已获得272赞和170K下载。

此模型主打长上下文和单卡部署，结合MoE与Mamba-2，对资源受限环境下的高效推理有实际意义，发布即热榜，且提供FP4量化版本。

采用混合架构（Mamba-2+MoE+Attention）减少活跃参数，FP4量化降低存储和计算需求，配合投机解码（DSpark/MTP/DFlash）提升推理效率，支持长上下文适合自主代理场景。

显著降低长上下文模型部署门槛，可在个人硬件上运行，可能影响AI产品的本地推理方案、成本结构及代理型应用开发。

• 开发面向自主代理的长对话应用，利用1M上下文实现长时间任务跟踪。
• 在消费级GPU上提供本地推理的轻量LLM服务，减少云端依赖。
• 利用FP4量化技术优化内部模型的推理成本。

• 具体性能评测数据未在证据中提供。
• RTX 5090上的推理recipe未确认。
• FP4量化对推理质量的影响未说明。
• 实际部署的能耗和内存占用未披露。