NVIDIA Cosmos | 🤗 Космос 3

Часть семейства проектов NVIDIA Cosmos — репозитория фреймворков для обучения и обслуживания.

Космос-фреймворк

Cosmos-Framework — это сквозной фреймворк для обучения и обслуживания мировых моделей, включая семейство моделей Cosmos3. Всё работает в одном верхнеуровневом cosmos_framework/ Python-пакете:

• Обучение — распределённый тренер FSDP / TP / CP / PP, нативные контрольные точки DCP с импортом/экспортом HuggingFace [[T1], адаптерами JSONL / WebDataset / LeRobot. Точка входа: cosmos_framework.scripts.train. См. docs/training.md.
• Inference — Диффузоры / трансформаторы / vLLM бэкенды с офлайн-пакетной генерацией и онлайн-обслуживанием (Ray + Gradio). Точка входа: cosmos_framework.scripts.inference. Библиотеки прокладки, ориентированные на экосистему (лёгкие автономные обертки для проектов по следующему потоку), находятся под packages/.
• Обслуживание политики — серверно-клиентский конвейер для развертывания политик Cosmos3. См. docs/action_policy_droid_server.md.
• Посттренинг и RL — контролируемое, основанное на предпочтениях, обучение с подкреплением, дистилляция, диффузия и оптимизация воплощённой политики в рамках cosmos_framework.posttrain.

NVIDIA Cosmos | 🤗 Cosmos 3

Part of the NVIDIA Cosmos project family — the training and serving framework repository.

Cosmos-Framework

Cosmos-Framework is an end-to-end framework for training and serving world models, including the Cosmos3 model family. Everything lives in a single top-level cosmos_framework/ Python package:

• Training — distributed FSDP / TP / CP / PP trainer, native DCP checkpoints with HuggingFace safetensors import/export, JSONL / WebDataset / LeRobot dataset adapters. Entry point: cosmos_framework.scripts.train. See docs/training.md.
• Inference — Diffusers / Transformers / vLLM backends with offline batch generation and online serving (Ray + Gradio). Entry point: cosmos_framework.scripts.inference. Ecosystem-facing shim libraries (lightweight standalone wrappers for downstream projects) live under packages/. For Cosmos3-Nano generation on GPUs with limited VRAM, see the standalone Diffusers CPU-GPU offloading adapter.
• Policy serving — a server-client pipeline for deploying Cosmos3 policies. See docs/action_policy_droid_server.md.
• Post-training and RL — supervised, preference-based, reinforcement-learning, distillation, diffusion, and embodied-policy optimization under cosmos_framework.posttrain. See docs/posttrain/.

Cosmos 3

Cosmos 3 is our newest model family [Report] [Website]. It is a suite of omnimodal world models designed to jointly process and generate language, images, video, audio, and action sequences within a unified Mixture-of-Transformers architecture. By supporting highly flexible input-output configurations, it seamlessly unifies critical modalities for Physical AI — effectively subsuming vision-language models, video generators, world simulators, and world-action models into a single framework. For a guided experience to test out Cosmos3, please visit [Cosmos].

Framework Documentation

• Quickstart
• Setup
• Training (Supervised Fine-Tuning)
  • JSONL Dataset
• Inference
  • Evaluation
• Policy Server
• Post-training and RL