MCPAgentBench는 Model Context Protocol (MCP)을 통해 도구를 사용하는 능력에 큰 언어 모델 (LLMs)을 평가하기위한 포괄적 인 벤치 마크 프레임 워크입니다. 단일 도구 사용, 병렬 도구 실행, 순차적 도구 체인 및 멀티 도구 시나리오를 포함한 다양한 작업 카테고리의 프레임 워크 테스트 모델은 작업 완료 점수 (TFS) 및 작업 효율성 마침 점수 (TEFS)와 같은 상세한 메트릭을 제공하여 작업 완료 정확도와 실행 효율성을 평가합니다.

프로젝트 구조

사용법

# 필수품

1.Install Python 의존성:

2. ** API 키 설정:** set_api_key.sh] 를 API 키로 편집, 그 다음 소스:

또는 수동 설정 환경 변수:

윤곽

###1. 일반 설정 (configs/config.json)

일반 실험 설정 구성:

• concurrency: 테스트 중 동시 요청 수
• num_servers: MCP 서버 수 에이전트 건설에 사용

###2. LLM 구성 (configs/llm_config.json)

테스트 할 모델 구성. 각 항목은 다음과 같습니다 :

• model: 모델 식별자 (명과 일치)
• model_info: 모델 기능 및 메타데이터

MCPAgentBench

MCPAgentBench is a comprehensive benchmarking framework for evaluating Large Language Models (LLMs) on their ability to use tools through the Model Context Protocol (MCP). The framework tests models across various task categories including single tool usage, parallel tool execution, sequential tool chains, and multi-tool scenarios, providing detailed metrics such as Task Finish Score (TFS) and Task Efficiency Finish Score (TEFS) to assess both task completion accuracy and execution efficiency.

Project Structure

MCPAgentBench/
├── configs/                    # Configuration files
│   ├── config.json            # General configuration (concurrency, num_servers)
│   ├── llm_config.json        # LLM model configurations (API endpoints, keys)
│   └── evaluation_config.json # Evaluation settings (skip_input_tools list)
├── data/                       # Task datasets
│   ├── daytasks.json          # Daily task dataset
│   ├── protasks.json          # Professional task dataset
│   ├── tasks.json             # General task dataset
│   └── *_with_*_tools.json   # Task variants (single, parallel, sequential, multi-tool)
├── src/                        # Core source code
│   ├── config.py              # Model registry and configuration management
│   ├── experiment.py          # Main experiment execution logic
│   ├── evaluate.py            # Evaluation metrics (TFS, TEFS calculation)
│   ├── agenttest.py           # Agent testing utilities
│   └── utilities.py           # Helper functions (tool extraction, input comparison)
├── funcs/                      # Analysis and visualization functions
│   ├── plot_tefs.py           # TEFS comparison chart generator
│   ├── plot_tfs.py            # TFS comparison chart generator
│   ├── plot_tefs_tfs.py       # Combined TEFS/TFS comparison chart
│   ├── plot_time_efficiency.py # Time efficiency visualization
│   ├── plot_token_efficiency.py # Token efficiency visualization
│   ├── plot_model_size_tefs.py # Model size vs TEFS line chart
│   ├── plot_tool_count_tefs.py # Tool count vs TEFS line chart
│   ├── plot_comparison.py     # General comparison chart
│   └── generate_score_tables.py # Score table generation
├── servers/                    # MCP server implementations
│   └── *.py                   # Individual tool server implementations
├── results/                    # Experiment results
│   ├── qwen/                  # qwen series run results
│   └── tool*/                 # Results organized by tool count (tool10, tool20, etc.)
├── logs/                       # Execution logs
├── runbenchmark.py            # Main entry point for running benchmarks
├── run_one_model_experiment.sh # Script to run 4 runs for a single model
├── run_batch_experiment.sh    # Script to run experiments for multiple models
├── set_api_key.sh             # API key configuration script
└── requirements.txt           # Python dependencies

Usage

Prerequisites

1. Install Python dependencies: