MCP-Atlas оценивает, насколько эффективно агенты ИИ используют инструменты для выполнения реальных задач на 36 серверах Model Context Protocol (MCP) в воспроизводимой песочнице Docker, оцениваемой с помощью LLM-as-judge.

• Газета: arxiv.org/abs/2602.00933 (местная версия)
• Таблица лидеров: scale.com/leaderboard/mcp_atlas
• Набор данных: huggingface.co/datasets/ScaleAI/MCP-Atlas

Обзор

• 36 реальных MCP-серверов охватывающих поиск, выполнение кода, базы данных, API и инструменты продуктивности — 20 не требуют настройки, 11 требуют API-ключей, а 5 — API-ключей плюс настройки данных (см. data_exports/README.md). Все они открытые и закреплены по версии для воспроизводимости.
• 500 задач с ожидаемыми вызовами и ответами на основе наземной правды.
• LLM-as-judge scoreing отчёт о прохождении и покрытии, а также диагностика режима отказа по каждой задаче.

Определения серверов находятся в mcp_server_template.json; полный список 36 серверов и инструментов 307 находится здесь.

Быстрый старт

Требуется docker, jq и Python 3.10+.

1. Настройка

Действие происходит в .env:

• LLM_API_KEY — ключ для модели под оценкой (ключи с разделёнными запятыми вращаются по запросу).

MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers

MCP-Atlas evaluates how well AI agents use tools to complete real-world tasks, across 36 Model Context Protocol (MCP) servers in a reproducible Docker sandbox, scored with an LLM-as-judge.

• Paper: arxiv.org/abs/2602.00933 (local copy)
• Leaderboard: scale.com/leaderboard/mcp_atlas
• Dataset: huggingface.co/datasets/ScaleAI/MCP-Atlas

Overview

• 36 real MCP servers spanning search, code execution, databases, APIs, and productivity tools — 20 need no setup, 11 require API keys, and 5 require API keys plus data setup (see data_exports/README.md). All are open-source and version-pinned for reproducibility.
• 500 tasks with ground-truth expected tool calls and answers.
• LLM-as-judge scoring reporting pass rate and coverage, plus per-task failure-mode diagnostics.

Server definitions are in mcp_server_template.json; a full list of the 36 servers and 307 tools is here.

Quick Start

Requires docker, jq, and Python 3.10+.

git clone [email protected]:scaleapi/mcp-atlas.git && cd mcp-atlas

1. Configure

cp env.template .env

Set in .env:

• LLM_API_KEY — key for the model under evaluation (comma-separated keys are rotated per request).
• LLM_BASE_URL — any OpenAI Chat-Completions-compatible endpoint (a LiteLLM proxy, OpenAI, Anthropic-via-LiteLLM, Azure, or a self-hosted vLLM/TGI server).
• EVAL_LLM_API_KEY / EVAL_LLM_BASE_URL / EVAL_LLM_MODEL — optional judge settings for scoring and diagnostics; fall back to LLM_*, with the judge defaulting to gemini/gemini-3.1-pro-preview.
• MCP_SANDBOX_URL — optional, defaults to http://localhost:1984.
• SANDBOX_AUTH_TOKEN — shared secret the sandbox API requires (it runs tools with your API keys). make run-docker and run_all.sh generate one in .env if it’s empty; the harness, run_eval.py and test_servers.py read it from .env and send it as a bearer token.

The agent harness was rewritten from Python to TypeScript in v2.0.0 — see CHANGELOG.md.

2. Start the MCP servers

Allocate at least 8 GB (10 GB+ recommended) to Docker.

Option A — prebuilt image (recommended):

docker pull ghcr.io/scaleapi/mcp-atlas:1.2.7
docker tag ghcr.io/scaleapi/mcp-atlas:1.2.7 agent-environment:latest
make run-docker

Option B — build from source (only if you’re modifying the server set, pinned versions, or baked-in data):

make build && make run-docker