MCPAgentBench - это комплексная система бенчмаркинга для оценки моделей большого языка (LLM) на их способность использовать инструменты через протокол контекста модели (MCP). Фреймворк тестирует модели в различных категориях задач, включая использование одного инструмента, параллельное выполнение инструмента, последовательные цепочки инструментов и сценарии с несколькими инструментами, предоставляя подробные показатели, такие как Task Finish Score (TFS) и Task Efficiency Finish Score (TEFS), для оценки точности выполнения задачи и эффективности выполнения.

Проектная структура

Использование

Предпосылки

1. **Установите зависимости от Python: **

2. ** Настройка API-ключей: ** Редактируйте set_api_key.sh с помощью ключей API, а затем используйте его:

Или вручную установить переменные среды:

Конфигурация

####1 Общая конфигурацияconfigs/config.json

Настройка общих параметров эксперимента:

• [[Т2]]: Количество одновременных запросов во время тестирования
• [[Т3]]: Количество MCP-серверов для создания агентов

####2.Конфигурация LLM ([T4])

Настройка моделей для тестирования. Каждая запись должна включать:

• [[Т5]]: Идентификатор модели (должен соответствовать имени, используемому в командах)
• [[Т6]]: Модели возможностей и метаданные

MCPAgentBench

MCPAgentBench is a comprehensive benchmarking framework for evaluating Large Language Models (LLMs) on their ability to use tools through the Model Context Protocol (MCP). The framework tests models across various task categories including single tool usage, parallel tool execution, sequential tool chains, and multi-tool scenarios, providing detailed metrics such as Task Finish Score (TFS) and Task Efficiency Finish Score (TEFS) to assess both task completion accuracy and execution efficiency.

Project Structure

MCPAgentBench/
├── configs/                    # Configuration files
│   ├── config.json            # General configuration (concurrency, num_servers)
│   ├── llm_config.json        # LLM model configurations (API endpoints, keys)
│   └── evaluation_config.json # Evaluation settings (skip_input_tools list)
├── data/                       # Task datasets
│   ├── daytasks.json          # Daily task dataset
│   ├── protasks.json          # Professional task dataset
│   ├── tasks.json             # General task dataset
│   └── *_with_*_tools.json   # Task variants (single, parallel, sequential, multi-tool)
├── src/                        # Core source code
│   ├── config.py              # Model registry and configuration management
│   ├── experiment.py          # Main experiment execution logic
│   ├── evaluate.py            # Evaluation metrics (TFS, TEFS calculation)
│   ├── agenttest.py           # Agent testing utilities
│   └── utilities.py           # Helper functions (tool extraction, input comparison)
├── funcs/                      # Analysis and visualization functions
│   ├── plot_tefs.py           # TEFS comparison chart generator
│   ├── plot_tfs.py            # TFS comparison chart generator
│   ├── plot_tefs_tfs.py       # Combined TEFS/TFS comparison chart
│   ├── plot_time_efficiency.py # Time efficiency visualization
│   ├── plot_token_efficiency.py # Token efficiency visualization
│   ├── plot_model_size_tefs.py # Model size vs TEFS line chart
│   ├── plot_tool_count_tefs.py # Tool count vs TEFS line chart
│   ├── plot_comparison.py     # General comparison chart
│   └── generate_score_tables.py # Score table generation
├── servers/                    # MCP server implementations
│   └── *.py                   # Individual tool server implementations
├── results/                    # Experiment results
│   ├── qwen/                  # qwen series run results
│   └── tool*/                 # Results organized by tool count (tool10, tool20, etc.)
├── logs/                       # Execution logs
├── runbenchmark.py            # Main entry point for running benchmarks
├── run_one_model_experiment.sh # Script to run 4 runs for a single model
├── run_batch_experiment.sh    # Script to run experiments for multiple models
├── set_api_key.sh             # API key configuration script
└── requirements.txt           # Python dependencies

Usage

Prerequisites

1. Install Python dependencies: