Библиотека Python и lep CLI для NVIDIA DGX Cloud Lepton

Главная страница • Примеры • Документация • Ссылки на CLI

Библиотека LeptonAI Python позволяет управлять платформой NVIDIA DGX Cloud Lepton из Python и командной строки. Ключевые функции включают:

• Инструмент командной строки lep для создания и управления конечными точками, развертываниями графов Dynamo, пакетными задачами, подами разработки, кластерами лучей, задачами тонкой настройки, хранилищем, секретами и другим, а также для проверки управляемых кластеров и задач Slurm.
• Client для вызова ваших развернутых конечных точек, таких как нативные функции Python.
• Спецификации конфигурации Python, которые легко отправляются в облако.
• Навыки, позволяющие агентам управлять платформой Lepton за вас.

Начало

Установите библиотеку, которая также устанавливает командный инструмент lep:

Чтобы установить последнюю версию разработки из ветки main (требуется Git):

Войдите в своё рабочее пространство (это откроет браузер для получения учетных данных, если вы их не передаёте):

Развернуть образ контейнера как конечную точку, затем проверить его:

В рабочих пространствах с включёнными защищёнными конечными точками по умолчанию конечная точка, созданная без --tokens защищается автоматически. Команда create печатает сгенерированный API

Lepton AI

The Python library and lep CLI for NVIDIA DGX Cloud Lepton

Homepage • Examples • Documentation • CLI References

The LeptonAI Python library lets you operate the NVIDIA DGX Cloud Lepton platform from Python and the command line. Key features include:

• A lep command-line tool to create and manage endpoints, Dynamo graph deployments, batch jobs, dev pods, Ray clusters, fine-tuning jobs, storage, secrets, and more, plus inspect managed Slurm clusters and jobs.
• A Client to call your deployed endpoints like native Python functions.
• Pythonic configuration specs that are readily shipped to the cloud.
• Skills that let agents operate the Lepton platform for you.

Getting started

Install the library, which also installs the lep command-line tool:

pip install -U leptonai

To install the latest development version from the main branch (requires Git):

pip install -U "git+https://github.com/leptonai/leptonai.git@main"

Log in to your workspace (this opens a browser to fetch credentials if you don’t pass them in):

lep login

Deploy a container image as an endpoint, then inspect it:

lep endpoint create -n my-endpoint --container-image my-registry/my-app:latest
lep endpoint list
lep endpoint status -n my-endpoint

In workspaces with secure endpoint defaults enabled, an endpoint created without --tokens is protected automatically. The create command prints the generated API token; save that value so clients can authenticate. You can instead provide one or more repeatable --tokens values, or explicitly opt out with --allow-unauthenticated-access (the CLI displays a warning). The --public option only controls IP reachability and does not disable API-token authentication. lep endpoint status reports these dimensions separately as IP Access and API Token Authentication.

SDK callers that leave endpoint authentication unspecified should use client.deployment.create_with_response(...) and save the token from the returned resource. The older create(...) method keeps its boolean return contract and cannot return a server-generated credential, so it emits a RuntimeWarning for requests that may ask the server to generate one. SDK updates may not clear api_tokens by sending an empty list alone: set allow_unauthenticated_access=true in the same update, or replace the list with at least one token.

lep endpoint get redacts literal tokens by default. Use --show-tokens only when you need a credential-bearing response or reusable spec export, and handle that output as