SGLang、VLLM、TensorRT LLM、TileRT、TokenSpeed、AMD’s ATOMを使用してSLURMクラスターに分散LLM干渉ベンチマーク用のコマンドラインツール。 複雑なシェルスクリプトと50 + CLIフラグを宣言 schema: 2] YAMLのレシピで置き換えます。 [engine:]]エンジンの名前、 [roles:]]は、各ワーカーの役割を説明し、 [services:]]]は、ワーカーの横に開始されたすべてのものをカバーします。

** ドキュメント:** https://nvidia.github.io/srt-slurm/ (docs/; エージェント: llms.txt)

クイックスタート

インストールはクラスター固有のセットアップをカバーします。例/は実行可能なレシピ、1つのフロントエンドとトポロジーを持っています。

エージェントがそれを運転してみましょう

srtctl は、Claude コード、Codex または Cursor にチェックアウトを設定する方法を教え、 [srtslurm.yaml] を書いて、レシピを検証し、それらを提出し、結果を読みます。 それをチェックアウトにインストールし、エージェントにチェックアウトを渡す:

[[srtctl-mcp]サーバ、エディタのJSONスキーマのレシピ、および[[llms.txt]は、ドキュメントホームに記載されています。

物事が文書化される場所

• レシピを書く: レシピガイド、それからリンクするトピックページ(エンジン、トポロジー、フロントエンド、ベンチマーク、サービス、…)

srtctl

Command-line tool for distributed LLM inference benchmarks on SLURM clusters using SGLang, vLLM, TensorRT LLM, TileRT, TokenSpeed and AMD’s ATOM. Replace complex shell scripts and 50+ CLI flags with a declarative schema: 2 YAML recipe: engine: names the engine, roles: describes each worker role, and services: covers everything launched next to the workers.

Documentation: https://nvidia.github.io/srt-slurm/ (source in docs/; agents: llms.txt)

Quick Start

git clone https://github.com/NVIDIA/srt-slurm.git
cd srt-slurm
uv sync --no-dev

# One-time setup: downloads etcd, NATS, uv and the tachometer binaries for the
# compute nodes' architecture and writes srtslurm.yaml (account, partition, GPUs per node)
make setup ARCH=aarch64  # or ARCH=x86_64

uv run srtctl dry-run -f examples/sglang/dynamo-agg.yaml   # render without submitting
uv run srtctl apply   -f examples/sglang/dynamo-agg.yaml   # submit

Installation covers cluster-specific setup; examples/ has runnable recipes, one per frontend and topology.

Let an agent drive it

srtctl ships a skill that teaches Claude Code, Codex or Cursor how to set up a checkout, write srtslurm.yaml, author and validate recipes, submit them, and read the results. Install it into the checkout and hand the agent the checkout:

uv run srtctl skill --target claude    # .claude/skills/srtctl/SKILL.md
uv run srtctl skill --target codex     # .codex/skills/srtctl/SKILL.md
uv run srtctl skill --target cursor    # .cursor/rules/srtctl.mdc

The srtctl-mcp server, the recipe JSON Schema for editors, and llms.txt are described in the documentation home.

Where things are documented

• Write a recipe: Recipe Guide, then the topic pages it links (engines, topology, frontends, benchmarks, services, …)
• Every field, type, default and allowed value: Schema Reference (generated from the code)
• Every command and flag: CLI Guide and CLI Reference (generated)
• Run and debug: Monitoring, SLURM FAQ
• Analyze: Profiling, DSight
• Old recipes: Legacy (v1) layout; srtctl migrate rewrites them