MMCPMarkets
AM

accenture/mcp-bench

Developer tools

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る

513 stars 68 forks 品質 39 トレンド 21
Repository Install

MCP-Bench:ベンチマークツール - MCPサーバー経由で複雑な実世界タスクにLLMエージェントを用いる

概要

MCP-Benchは、モデルコンテキストプロトコル(MCP)を通じてツール使用シナリオにおける大規模言語モデル(LLM)の能力を評価するための包括的な評価フレームワークです。このベンチマークは、異なるLLMが実際の課題をどれだけ効果的に発見・選択・活用できるかを評価するためのエンドツーエンドのパイプラインを提供します。 * [2025-09] MCP-BenchはNeurIPS 2025 Workshop on Scaling Environments for Agentsに受け入れられています。 総合スコアは、ルールベースのスキーマ理解、LLM判定(o4-miniをジャッジモデルとして)タスク完了、ツールの使用、計画効果など、すべての評価次元における平均パフォーマンスを表します。スコアは単一サーバーおよびマルチサーバー環境で平均されます。 一部のMCPサーバーは正常に動作するために外部APIキーが必要です。これらのキーは./mcp_servers/api_keyから自動的に読み込まれます。これらのキーはファイル./mcp_servers/api_keyで自分で設定すべきです。 必要なAPIキーには以下が含まれます(これらのAPIキーは無料で簡単に入手できます。

概要（AI 翻訳）

概要

MCP-Benchは、モデルコンテキストプロトコル(MCP)を通じてツール使用シナリオにおける大規模言語モデル(LLM)の能力を評価するための包括的な評価フレームワークです。このベンチマークは、異なるLLMが実際の課題をどれだけ効果的に発見・選択・活用できるかを評価するためのエンドツーエンドのパイプラインを提供します。

ニュース

  • [2025-09] MCP-BenchはNeurIPS 2025 Workshop on Scaling Environments for Agentsに受け入れられています。

リーダーボード

順位 モデル 総合スコア
1 GPT-5 0.749
2 O3 0.715
3 GPT-OSS-120B 0.692
4 ジェミニ-2.5-PRO 0.690
5 クロード・ソネット-4 0.681
6 QWEN3-235b-A22B-2507 0.678
7 GLM-4.5 0.668
8 GPT-OSS-20B 0.654
9 キミ-K2 0.629
10 QWEN3-30b-A3B-インストラクター-2507 0.627
11 ジェミニ-2.5-フラッシュ-ライト 0.598
12 GPT-4o 0.595
13 ジェマ-3-27b-it 0.582
14 ラマ-3-3-70b-インディッシュ 0.558
15 GPT-40-ミニ 0.557
16 ミストラル・スモール 2503 0.530
17 ラマ-3-1-70b-インディッシュ 0.510
18 ノヴァ-マイクロ-V1 0.508
19 ラマ-3-2-90b-視覚-指示 0.495
20 ラマ-3-1-8b-インディッシュ 0.428

このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。

README

以下は原文 README の抜粋です。原文を見る。

MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers

Overview

MCP-Bench is a comprehensive evaluation framework designed to assess Large Language Models’ (LLMs) capabilities in tool-use scenarios through the Model Context Protocol (MCP). This benchmark provides an end-to-end pipeline for evaluating how effectively different LLMs can discover, select, and utilize tools to solve real-world tasks.

News

  • [2025-09] MCP-Bench is accepted to NeurIPS 2025 Workshop on Scaling Environments for Agents.

Leaderboard

Rank Model Overall Score
1 gpt-5 0.749
2 o3 0.715
3 gpt-oss-120b 0.692
4 gemini-2.5-pro 0.690
5 claude-sonnet-4 0.681
6 qwen3-235b-a22b-2507 0.678
7 glm-4.5 0.668
8 gpt-oss-20b 0.654
9 kimi-k2 0.629
10 qwen3-30b-a3b-instruct-2507 0.627
11 gemini-2.5-flash-lite 0.598
12 gpt-4o 0.595
13 gemma-3-27b-it 0.582
14 llama-3-3-70b-instruct 0.558
15 gpt-4o-mini 0.557
16 mistral-small-2503 0.530
17 llama-3-1-70b-instruct 0.510
18 nova-micro-v1 0.508
19 llama-3-2-90b-vision-instruct 0.495
20 llama-3-1-8b-instruct 0.428

Overall Score represents the average performance across all evaluation dimensions including rule-based schema understanding, LLM-judged (o4-mini as judge model) task completion, tool usage, and planning effectiveness. Scores are averaged across single-server and multi-server settings.

Quick Start

Installation

  1. Clone the repository
git clone https://github.com/accenture/mcp-bench.git
cd mcp-bench
  1. Install dependencies
conda create -n mcpbench python=3.10
conda activate mcpbench
cd mcp_servers
# Install MCP server dependencies
bash ./install.sh
cd ..
  1. Set up environment variables
# Create .env file with API keys
# Default setup uses both OpenRouter and Azure OpenAI
# For Azure OpenAI, you also need to set your API version in file benchmark_config.yaml (line205)
# For OpenRouter-only setup, see "Optional: Using only OpenRouter API" section below
cat > .env << EOF
export OPENROUTER_API_KEY="your_openrouterkey_here"
export AZURE_OPENAI_API_KEY="your_azureopenai_apikey_here"
GitHub で README 全文を見る

インストール

This server does not publish a one-line install command.

Open the repository installation guide MCP 初心者？mcpskill.org のガイドから始めましょう →