Thinking Machines 在 Hugging Face 发布新模型 Inkling

Thinking Machines 发布开源模型 Inkling，参数总量 975B，激活 41B，采用 MoE（256 专家）。原生支持图像、文本和音频输入，上下文窗口 1M，训练数据 45T tokens。提供 BF16 和校准版 NVFP4 检查点，并包含 MTP 层用于推测解码。模型已在 Hugging Face 上线，并获 transformers、SGLang、vLLM、llama.cpp 等工具的 Day-0 支持。

Inkling 是罕见的大规模开源多模态 MoE 模型，原生统一处理图像、文本和音频，无需独立编码器，并拥有 1M 上下文窗口。其 Day-0 工具支持和多种量化版本降低了本地部署门槛，可能推动多模态应用和长上下文任务的发展。

Inkling 采用 MoE 架构，仅激活 41B 参数，兼顾性能与推理效率。相对注意力与混合注意力机制在长上下文中可能优于 RoPE。MTP 层加速推测解码，NVFP4 量化减少显存占用。多模态原生设计避免编码器对齐问题，提升理解一致性。

开发者和企业可用 Inkling 构建需同时理解多模态信息的应用，如视频分析、智能助手。1M 上下文支持长文档或长视频处理。量化版和 llama.cpp 支持降低硬件需求，但 8x H100 基准显示高规格 GPU 仍可能成为推理成本瓶颈。

• 开发基于 Inkling 的多模态问答或内容分析产品，统一处理图像、文本和音频输入。
• 利用 1M 上下文窗口构建长视频或长文档摘要工具。
• 基于 NVFP4 或 1-bit GGUF 版本，为消费级硬件设计轻量离线推理方案。
• 结合 speculative decoding 能力，优化实时交互式多模态应用的响应速度。

• Inkling 的训练数据构成和许可协议细节未在证据中说明。
• 不同模态输入的性能表现（如音频识别准确率）缺乏具体基准数据。
• 1M 上下文下的实际计算资源需求和推理延迟尚未明确。