MCP Server Tester - это инструмент для автоматизированного тестирования MCP-серверов.

##Почему именно этот инструмент?

Создание надежных MCP-серверов, которые работают последовательно и соответствуют спецификациям, сложнее, чем должно быть:

Инструмент «Инспектор» помогает создавать и тестировать сервер, но не защищает от регрессий. Инструменты отлично работают в прямом тестировании, но LLM используют их неправильно и непоследовательно в реальном мире. Большинство SDK MCP не полностью соответствуют спецификациям, и трудно понять, чего не хватает.

• спецификация быстро развивается, что затрудняет поддержание актуальности лучших практик

mcp-server-tester - это инструмент тестирования CLI, который предоставляет три сфокусированные команды, которые помогают решить эти основные проблемы:

** tools** - Запустите тесты, которые подтверждают, что ваши инструменты работают правильно с прямыми вызовами MCP evals - Запустите тесты, которые подтверждают, что LLM могут последовательно понимать и правильно использовать ваши инструменты. compliance — Автоматизированная проверка спецификации сервера по мере развития протокола (Work in Progress)

Команды

tools - Прямое тестирование инструментов MCP

Проверяйте правильность работы инструментов с прямыми вызовами API:

** Примерный результат:**

evals - Тестирование интеграции LLM

MCP Server Tester

The MCP Server Tester is a tool for automated testing of MCP servers.

Why this tool?

Building reliable MCP servers that work consistently and are spec-compliant is harder than it should be:

• the Inspector tool helps to build and test the intial server, but won’t protect you from regressions
• tools works perfectly in direct testing, but LLMs use them incorrectly and inconsistently in the real world
• most MCP SDKs aren’t fully spec-compliant, and it’s hard to know what’s missing
• the spec evolves rapidly, making it hard to stay current with best practices

The mcp-server-tester is a implementation-agnostic CLI testing tool that provides three focused commands that help solve these core issues:

• tools - Run tests that verify your tools work correctly with direct MCP calls
• evals - Run tests that verify LLMs can consistently understand and use your tools correctly
• compliance - Automated server spec validation as the protocol evolves (Work in Progress)

---

Commands

tools - Direct MCP Tool Testing

Test your tools work correctly with direct API calls:

npx mcp-server-tester tools tool-tests.yaml --server-config filesystem-server-config.json

Sample output:

✅ Tool Discovery: Found 3 tools (read_file, write_file, delete_file)
✅ Write file successfully
✅ Read file returns content
✅ Write and read workflow
❌ Handle invalid path - Expected error containing 'permission' but got 'access denied'
✅ Delete file cleanup

Results: 5/6 tests passed

evals - LLM Integration Testing

Test that LLMs can discover and use your tools effectively:

npx mcp-server-tester evals eval-tests.yaml --server-config filesystem-server-config.json

Sample output:

🤖 Testing with claude-3-5-haiku-latest
✅ LLM can create and read files
✅ File manipulation workflow
✅ Error handling test
❌ Documentation query task: FAILED
    Prompt: "How do I search for configuration files in the project?"
    • Required tool 'search_docs' was not called (actual calls: list_files)
❌ Lists all available tools: FAILED
    Prompt: "Please list all available file management tools you have access to."
    • LLM judge failed: Score: 0.3/1.0 (threshold: 0.8). Assistant did not provide complete tool list.

Results: 3/5 tests passed

Note: Requires ANTHROPIC_API_KEY environment variable.

compliance - MCP Specification Compliance Testing (WIP)

Test that your server is spec compliant:

npx mcp-server-tester compliance --server-config filesystem-server-config.json

See the Compliance Command (WIP) section below for details and example output.

Quick Start

1. Create server config (filesystem-server-config.json):

   {
     "mcpServers": {
       "filesystem": {
         "command": "node",
         "args": ["./filesystem-server.js"]
       }
     }
   }
   

2. Create tool and eval test files manually: