MCPAgentBenchは、モデルコンテキストプロトコル(MCP)を介してツールを使用する能力で、大言語モデル(LLM)を評価するための包括的なベンチマークフレームワークです。 フレームワークは、単一のツールの使用、並列ツールの実行、シーケンシャルツールチェーン、マルチツールのシナリオなど、さまざまなタスクカテゴリにわたってモデルをテストし、タスクフィニッシュスコア(TFS)やタスク効率のフィニッシュスコア(TEFS)などの詳細なメトリックを提供し、タスクの完了精度と実行効率の両方を評価します。

プロジェクト構成

使用法

前提条件

1。 Pythonの依存関係をインストールします。

2.APIキーの設定: API キーで [set_api_key.sh を編集し、それをソースします。

または手動で環境変数を設定:

設定

##1. 全般構成([configs/config.json)

一般的な実験設定の設定:

• [concurrency: テスト中の同時リクエスト数

###2. LLM 設定 ([configs/llm_config.json)

実験するモデルを設定します。 各エントリには以下が含まれます。

MCPAgentBench

MCPAgentBench is a comprehensive benchmarking framework for evaluating Large Language Models (LLMs) on their ability to use tools through the Model Context Protocol (MCP). The framework tests models across various task categories including single tool usage, parallel tool execution, sequential tool chains, and multi-tool scenarios, providing detailed metrics such as Task Finish Score (TFS) and Task Efficiency Finish Score (TEFS) to assess both task completion accuracy and execution efficiency.

Project Structure

MCPAgentBench/
├── configs/                    # Configuration files
│   ├── config.json            # General configuration (concurrency, num_servers)
│   ├── llm_config.json        # LLM model configurations (API endpoints, keys)
│   └── evaluation_config.json # Evaluation settings (skip_input_tools list)
├── data/                       # Task datasets
│   ├── daytasks.json          # Daily task dataset
│   ├── protasks.json          # Professional task dataset
│   ├── tasks.json             # General task dataset
│   └── *_with_*_tools.json   # Task variants (single, parallel, sequential, multi-tool)
├── src/                        # Core source code
│   ├── config.py              # Model registry and configuration management
│   ├── experiment.py          # Main experiment execution logic
│   ├── evaluate.py            # Evaluation metrics (TFS, TEFS calculation)
│   ├── agenttest.py           # Agent testing utilities
│   └── utilities.py           # Helper functions (tool extraction, input comparison)
├── funcs/                      # Analysis and visualization functions
│   ├── plot_tefs.py           # TEFS comparison chart generator
│   ├── plot_tfs.py            # TFS comparison chart generator
│   ├── plot_tefs_tfs.py       # Combined TEFS/TFS comparison chart
│   ├── plot_time_efficiency.py # Time efficiency visualization
│   ├── plot_token_efficiency.py # Token efficiency visualization
│   ├── plot_model_size_tefs.py # Model size vs TEFS line chart
│   ├── plot_tool_count_tefs.py # Tool count vs TEFS line chart
│   ├── plot_comparison.py     # General comparison chart
│   └── generate_score_tables.py # Score table generation
├── servers/                    # MCP server implementations
│   └── *.py                   # Individual tool server implementations
├── results/                    # Experiment results
│   ├── qwen/                  # qwen series run results
│   └── tool*/                 # Results organized by tool count (tool10, tool20, etc.)
├── logs/                       # Execution logs
├── runbenchmark.py            # Main entry point for running benchmarks
├── run_one_model_experiment.sh # Script to run 4 runs for a single model
├── run_batch_experiment.sh    # Script to run experiments for multiple models
├── set_api_key.sh             # API key configuration script
└── requirements.txt           # Python dependencies

Usage

Prerequisites

1. Install Python dependencies: