vipshop/cache-dit

⚡️🎉Нативный для PyTorch движок вывода с кэшом, параллелизмом, квантизацией и разгрузкой процессора для DiT

**🤗Почему Cache-DiT❓❓**Cache-DiT построен на базе библиотеки 🤗диффузоров и теперь поддерживает почти ВСЕ DiT от диффузоров. Он обеспечивает гибридное ускорение кэша (DBCache, TaylorSeer, SCM и др.) и комплексные оптимизации параллелизма, включая контекстный параллелизм, тензорный параллелизм, гибридный 2D или 3D-параллелизм, а также выделенную поддержку дополнительного параллелизма для Text Encoder, VAE и ControlNet.

Cache-DiT совместим с компиляцией, CPU Offloading и квантованием, полностью интегрируется с SGLang Diffusion, vLLM-Omni, TensorRT-LLM, ComfyUI и работает нативно на NVIDIA GPU, Ascend NPU и AMD. Cache-DiT быстрый, прост в использовании и гибкий для различных DiT (онлайн-документация на 📘cache-dit.io).

⚡️9-кратное ускорение с помощью Cache-DiT с кэшированием, параллелизмом контекста и компиляцией

📋Поддерживаемые модели DiT

Cache-DiT поддерживает 40+ семейств конвейеров DiT (120+ вариантов) от 🤗Diffusers, охватывая подавляющее большинство конвейеров на базе DiT. Для полной матрицы поддержки и подробного использования обратитесь к нашей документации на 📘cache-dit.io.

**🤗Why Cache-DiT❓❓**Cache-DiT is built on top of the 🤗Diffusers library and now supports nearly ALL DiTs from Diffusers. It provides hybrid cache acceleration (DBCache, TaylorSeer, SCM, etc.) and comprehensive parallelism optimizations, including Context Parallelism, Tensor Parallelism, hybrid 2D or 3D parallelism, and dedicated extra parallelism support for Text Encoder, VAE, and ControlNet.

Cache-DiT is compatible with compilation, offload, and quantization, fully integrates with SGLang Diffusion, vLLM-Omni, TensorRT-LLM, xDiT, and runs natively on NVIDIA GPUs, Huawei Ascend NPUs and AMD GPUs. Cache-DiT is fast, easy to use, and flexible for various DiTs (online docs at 📘cache-dit.io).