NVIDIA Nemotron 3 Ultra: 55 B активных параметров, контекст 1 M токенов

Что произошло

NVIDIA анонсировала модель Nemotron 3 Ultra — гибридную Transformer‑Mamba MoE с 55 млрд активных параметров из 550 млрд общих и поддержкой контекста до 1 млн токенов, ориентированную на сложные рассуждения и оркестрацию агентов.

Детали

• 55 млрд активных параметров (10 % от 550 млрд общих)
• Контекстный размер — 1 млн токенов
• Гибридная архитектура Transformer‑Mamba с MoE
• Оптимизировано для многошагового рассуждения и оркестрации агентов

Что это значит

Модель подходит для систем, где требуется длительный контекст и сложные цепочки вывода, например, агентные платформы и аналитические боты.

Гибридный Transformer‑Mamba MoE позволяет обрабатывать контекст до 1 млн токенов, используя лишь 55 млрд активных параметров, что делает его практичным выбором для задач с длительными рассуждениями.