accenture/mcp-bench

Developer tools

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

512 stars 69 forks Качество 39 Тренд 20

Repository Install

MCP-Bench: LLM-агенты с использованием инструментов бенчмаркинга с выполнением сложных реальных задач через серверы MCP

Обзор

MCP-Bench — это комплексная система оценки, разработанная для оценки возможностей больших языковых моделей (LLM) в сценариях использования инструментов с помощью протокола Model Context Protocol (MCP). Этот бенчмарк предоставляет сквозной конвейер для оценки того, насколько эффективно разные LLM могут обнаруживать, выбирать и использовать инструменты для решения реальных задач. * [2025-09] MCP-Bench принят на семинар NeurIPS 2025 по масштабируемым средам для агентов. Общий балл отражает среднюю производительность по всем измерениям оценки, включая понимание схемы на основе правил, выполнение задач по оценке LLM (o4-mini как модель), использование инструментов и эффективность планирования. Оценки усредняются в настройках с одним и несколькими серверами. Некоторые MCP-серверы требуют внешних API-ключей для корректной работы. Эти ключи автоматически загружаются из ./mcp_servers/api_key. Вам следует устанавливать эти ключи самостоятельно в файле ./mcp_servers/api_key: Требуемые ключи API включают (Эти API ключи бесплатны и легко доступны.

Обзор (машинный перевод)

Обзор

Новости

[2025-09] MCP-Bench принят на семинар NeurIPS 2025 по масштабируемым средам для агентов.

Таблица лидеров

Ранг	Модель	Общий балл
1	GPT-5	0.749
2	o3	0.715
3	GPT-OSS-120B	0.692
4	Gemini-2.5-Pro	0.690
5	Клод-сонет-4	0.681
6	qwen3-235b-a22b-2507	0.678
7	GLM-4.5	0.668
8	GPT-OSS-20B	0.654
9	Кими-к2	0.629
10	qwen3-30b-a3b-instruct-2507	0.627
11	Gemini-2.5-Flash-Lite	0.598
12	GPT-4o	0.595
13	Джемма-3-27б-ит	0.582
14	llama-3-3-70b-инструктаж	0.558
15	GPT-4O-mini	0.557
16	Мистрал-Смолл-2503	0.530
17	llama-3-1-70b-инструктаж	0.510
18	Нова-микро-V1	0.508
19	Лама-3-2-90b-Sight-instruct	0.495
20	llama-3-1-8b-инструктаж	0.428

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers

Overview

MCP-Bench is a comprehensive evaluation framework designed to assess Large Language Models’ (LLMs) capabilities in tool-use scenarios through the Model Context Protocol (MCP). This benchmark provides an end-to-end pipeline for evaluating how effectively different LLMs can discover, select, and utilize tools to solve real-world tasks.

News

[2025-09] MCP-Bench is accepted to NeurIPS 2025 Workshop on Scaling Environments for Agents.

Leaderboard

Rank	Model	Overall Score
1	gpt-5	0.749
2	o3	0.715
3	gpt-oss-120b	0.692
4	gemini-2.5-pro	0.690
5	claude-sonnet-4	0.681
6	qwen3-235b-a22b-2507	0.678
7	glm-4.5	0.668
8	gpt-oss-20b	0.654
9	kimi-k2	0.629
10	qwen3-30b-a3b-instruct-2507	0.627
11	gemini-2.5-flash-lite	0.598
12	gpt-4o	0.595
13	gemma-3-27b-it	0.582
14	llama-3-3-70b-instruct	0.558
15	gpt-4o-mini	0.557
16	mistral-small-2503	0.530
17	llama-3-1-70b-instruct	0.510
18	nova-micro-v1	0.508
19	llama-3-2-90b-vision-instruct	0.495
20	llama-3-1-8b-instruct	0.428

Overall Score represents the average performance across all evaluation dimensions including rule-based schema understanding, LLM-judged (o4-mini as judge model) task completion, tool usage, and planning effectiveness. Scores are averaged across single-server and multi-server settings.

Quick Start

Installation

Clone the repository

git clone https://github.com/accenture/mcp-bench.git
cd mcp-bench

Install dependencies

conda create -n mcpbench python=3.10
conda activate mcpbench
cd mcp_servers
# Install MCP server dependencies
bash ./install.sh
cd ..

Set up environment variables

# Create .env file with API keys
# Default setup uses both OpenRouter and Azure OpenAI
# For Azure OpenAI, you also need to set your API version in file benchmark_config.yaml (line205)
# For OpenRouter-only setup, see "Optional: Using only OpenRouter API" section below
cat > .env << EOF
export OPENROUTER_API_KEY="your_openrouterkey_here"
export AZURE_OPENAI_API_KEY="your_azureopenai_apikey_here"

Открыть полный README на GitHub