nvidia/model-optimizer

문서 | 로드맵 | 공지 블로그

---

NVIDIA 모델 옵티마이저(Model Optimizer 또는 ModelOpt로 불림)는 양자화, 가지치기, 신경 아키텍처 검색(NAS), 증류, 가변 디코딩, 희소성 등 최첨단 모델 최적화 기법을 포함한 라이브러리로, 모델을 가속화합니다.

[입력] 모델 옵티마이저는 현재 Hugging Face, PyTorch 또는 ONNX 모델의 입력을 지원합니다.

[최적화] 모델 옵티마이저는 사용자가 위의 모델 최적화 기법을 쉽게 조합하고 최적화된 양자화된 체크포인트를 내보낼 수 있도록 파이썬 API를 제공합니다. 모델 옵티마이저는 또한 NVIDIA Megatron-Bridge, Megatron-LM, Hugging Face Accelerate와 통합되어 필요한 추론 최적화 기법을 학습할 수 있습니다.

[배포용 내보내기] NVIDIA AI 소프트웨어 생태계에 원활하게 통합된 Model Optimizer에서 생성된 양자화된 체크포인트는 SGLang, TensorRT-LLM, TensorRT, vLLM과 같은 추론 추론 프레임워크에 배포할 준비가 되어 있습니다. 통합된 Hugging Face 내보내기 API는 이제 트랜스포머와 디퓨저 모델 모두를 지원합니다.

최신 뉴스

---

NVIDIA Model Optimizer (referred to as Model Optimizer, or ModelOpt) is a library comprising state-of-the-art model optimization techniques including quantization, pruning, Neural Architecture Search (NAS), distillation, speculative decoding and sparsity to accelerate models.

[Input] Model Optimizer currently supports inputs of a Hugging Face, PyTorch or ONNX model.

[Optimize] Model Optimizer provides Python APIs for users to easily compose the above model optimization techniques and export an optimized quantized checkpoint. Model Optimizer is also integrated with NVIDIA Megatron-Bridge, Megatron-LM and Hugging Face Accelerate for training required inference optimization techniques.

[Export for deployment] Seamlessly integrated within the NVIDIA AI software ecosystem, the quantized checkpoint generated from Model Optimizer is ready for deployment in downstream inference frameworks like SGLang, TensorRT-LLM, TensorRT, or vLLM. The unified Hugging Face export API now supports both transformers and diffusers models.

Latest News

• [2026/10/28] BLOG: GLM-5.3-Flash at 2-3 Bits per Expert Weight: IQ2_S PTQ Recipes and QAD: IQ2_S experts with NVFP4 down projections match the FP8 checkpoint without training, at less than half its size; QAD recovers long-context accuracy on the all-IQ2_S model.