nvidia/model-optimizer

Документация | Дорожная карта | Блоги объявлений

---

NVIDIA Model Optimizer (называемый Model Optimizer или ModelOpt) — это библиотека, включающая передовые методы оптимизации моделей, включая квантование, обрезку, поиск по нейронной архитектуре (NAS), дистилляцию, спекулятивное декодирование и разрежённость для ускорения моделей.

[Вход] Оптимизатор модели в настоящее время поддерживает входные данные модели Hugging Face, PyTorch или ONNX.

[Оптимизировать] Model Optimizer предоставляет API на Python, позволяющие пользователям легко композиционировать вышеуказанные методы оптимизации моделей и экспортировать оптимизированную квантизированную контрольную точку. Model Optimizer также интегрирован с NVIDIA Megatron-Bridge, Megatron-LM и Hugging Face Accelerate для обучения необходимым техникам оптимизации выводов.

[Экспорт для развертывания] Бесшовно интегрированный в программную экосистему NVIDIA AI, квантизированная контрольная точка, сгенерируемая из Model Optimizer, готова к развертыванию в нижних фреймворках вывода, таких как SGLang, TensorRT-LLM, TensorRT или vLLM. Унифицированный API экспорта Hugging Face теперь поддерживает как модели трансформеров, так и диффузоров.

Последние новости

---

NVIDIA Model Optimizer (referred to as Model Optimizer, or ModelOpt) is a library comprising state-of-the-art model optimization techniques including quantization, pruning, Neural Architecture Search (NAS), distillation, speculative decoding and sparsity to accelerate models.

[Input] Model Optimizer currently supports inputs of a Hugging Face, PyTorch or ONNX model.

[Optimize] Model Optimizer provides Python APIs for users to easily compose the above model optimization techniques and export an optimized quantized checkpoint. Model Optimizer is also integrated with NVIDIA Megatron-Bridge, Megatron-LM and Hugging Face Accelerate for training required inference optimization techniques.

[Export for deployment] Seamlessly integrated within the NVIDIA AI software ecosystem, the quantized checkpoint generated from Model Optimizer is ready for deployment in downstream inference frameworks like SGLang, TensorRT-LLM, TensorRT, or vLLM. The unified Hugging Face export API now supports both transformers and diffusers models.

Latest News

• [2026/10/28] BLOG: GLM-5.3-Flash at 2-3 Bits per Expert Weight: IQ2_S PTQ Recipes and QAD: IQ2_S experts with NVFP4 down projections match the FP8 checkpoint without training, at less than half its size; QAD recovers long-context accuracy on the all-IQ2_S model.