nvidia/model-optimizer

ドキュメント | ロードマップ | 発表ブログ

---

NVIDIA Model Optimizer(通称:Model Optimizer、またはModelOpt)は、量子化、プルーニング、ニューラルアーキテクチャ探索(NAS)、蒸留、推測的復号、スパーシティなどの最先端のモデル最適化技術を含み、モデルを加速させるライブラリです。

[入力] モデルオプティマイザーは現在、Hugging Face、PyTorch、またはONNXモデルの入力をサポートしています。

[最適化] モデルオプティマイザーは、上記のモデル最適化手法を簡単に作成し、最適化された量子化されたチェックポイントをエクスポートできるPython APIを提供します。 モデルオプティマイザーはまた、NVIDIA Megatron-Bridge、Megatron-LM、Hugging Face Accelerateと連携し、必要な推論最適化技術の訓練に活用されています。

[デプロイ用エクスポート] NVIDIA AIソフトウェアエコシステムにシームレスに統合されたModel Optimizerで生成された量子化されたチェックポイントは、SGLang、TensorRT-LLM、TensorRT、vLLMなどの下流推論フレームワークへの展開が可能となっています。統合されたHugging FaceエクスポートAPIは、トランスフォーマーモデルとディフューザーモデルの両方をサポートしています。

最新ニュース

---

NVIDIA Model Optimizer (referred to as Model Optimizer, or ModelOpt) is a library comprising state-of-the-art model optimization techniques including quantization, pruning, Neural Architecture Search (NAS), distillation, speculative decoding and sparsity to accelerate models.

[Input] Model Optimizer currently supports inputs of a Hugging Face, PyTorch or ONNX model.

[Optimize] Model Optimizer provides Python APIs for users to easily compose the above model optimization techniques and export an optimized quantized checkpoint. Model Optimizer is also integrated with NVIDIA Megatron-Bridge, Megatron-LM and Hugging Face Accelerate for training required inference optimization techniques.

[Export for deployment] Seamlessly integrated within the NVIDIA AI software ecosystem, the quantized checkpoint generated from Model Optimizer is ready for deployment in downstream inference frameworks like SGLang, TensorRT-LLM, TensorRT, or vLLM. The unified Hugging Face export API now supports both transformers and diffusers models.

Latest News

• [2026/10/28] BLOG: GLM-5.3-Flash at 2-3 Bits per Expert Weight: IQ2_S PTQ Recipes and QAD: IQ2_S experts with NVFP4 down projections match the FP8 checkpoint without training, at less than half its size; QAD recovers long-context accuracy on the all-IQ2_S model.