MCP-Atlasは、再現可能なDockerサンドボックス上で36台のModel Context Protocol(MCP)サーバー上で、AIエージェントが実際のタスクをどれだけ活用しているかを評価し、LLMを審査員として評価します。

• 紙:arxiv.org/abs/2602.00933(ローカルコピー)
• リーダーボード:scale.com/leaderboard/mcp_atlas
• データセット:huggingface.co/datasets/ScaleAI/MCP-Atlas

概要

• 36台の実用MCPサーバー。検索、コード実行、データベース、API、生産性ツールを網羅しています。そのうち20台はセットアップ不要、11台はAPIキーを必要とし、5台はAPIキーとデータ設定が必要です([[T0]参照)。すべてオープンソースで、再現性のためにバージョンピン留めされています。
• 500タスクに、現場的な予測ツール呼び出しと回答を組み合わせています。
• LLMによる判定スコアリング:合格率とカバレッジ、さらにタスクごとの失敗モード診断を報告します。

サーバーの定義はmcp_server_template.jsonにあります。36台のサーバーと307台のツールの完全なリストはこちらにあります。

クイックスタート

docker、jq、Python 3.10+が必要です。

1.構成

舞台は.env:

• LLM_API_KEY — 評価対象モデルのキー(カンマ区切りキーはリクエストごとに回転)。

MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers

MCP-Atlas evaluates how well AI agents use tools to complete real-world tasks, across 36 Model Context Protocol (MCP) servers in a reproducible Docker sandbox, scored with an LLM-as-judge.

• Paper: arxiv.org/abs/2602.00933 (local copy)
• Leaderboard: scale.com/leaderboard/mcp_atlas
• Dataset: huggingface.co/datasets/ScaleAI/MCP-Atlas

Overview

• 36 real MCP servers spanning search, code execution, databases, APIs, and productivity tools — 20 need no setup, 11 require API keys, and 5 require API keys plus data setup (see data_exports/README.md). All are open-source and version-pinned for reproducibility.
• 500 tasks with ground-truth expected tool calls and answers.
• LLM-as-judge scoring reporting pass rate and coverage, plus per-task failure-mode diagnostics.

Server definitions are in mcp_server_template.json; a full list of the 36 servers and 307 tools is here.

Quick Start

Requires docker, jq, and Python 3.10+.

git clone [email protected]:scaleapi/mcp-atlas.git && cd mcp-atlas

1. Configure

cp env.template .env

Set in .env:

• LLM_API_KEY — key for the model under evaluation (comma-separated keys are rotated per request).
• LLM_BASE_URL — any OpenAI Chat-Completions-compatible endpoint (a LiteLLM proxy, OpenAI, Anthropic-via-LiteLLM, Azure, or a self-hosted vLLM/TGI server).
• EVAL_LLM_API_KEY / EVAL_LLM_BASE_URL / EVAL_LLM_MODEL — optional judge settings for scoring and diagnostics; fall back to LLM_*, with the judge defaulting to gemini/gemini-3.1-pro-preview.
• MCP_SANDBOX_URL — optional, defaults to http://localhost:1984.
• SANDBOX_AUTH_TOKEN — shared secret the sandbox API requires (it runs tools with your API keys). make run-docker and run_all.sh generate one in .env if it’s empty; the harness, run_eval.py and test_servers.py read it from .env and send it as a bearer token.

The agent harness was rewritten from Python to TypeScript in v2.0.0 — see CHANGELOG.md.

2. Start the MCP servers

Allocate at least 8 GB (10 GB+ recommended) to Docker.

Option A — prebuilt image (recommended):

docker pull ghcr.io/scaleapi/mcp-atlas:1.2.7
docker tag ghcr.io/scaleapi/mcp-atlas:1.2.7 agent-environment:latest
make run-docker

Option B — build from source (only if you’re modifying the server set, pinned versions, or baked-in data):

make build && make run-docker