mcp-tool-bench/mcptoolbenchpp
Browser automationこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
mcp-tool-bench/mcptoolbenchpp は [https://github.com/mcp-tool-bench/mcptoolbenchpp. からインポートされた MCP サーバーの候補です
概要
mcp-tool-bench/mcptoolbenchpp は [https://github.com/mcp-tool-bench/mcptoolbenchpp. からインポートされた MCP サーバーの候補です
概要（AI 翻訳）
GitHub|HuggingFace|モデルスコープ
導入
MCPToolBench++は、大規模でマルチドメインのAIエージェントツールです。 2025年7月現在、このベンチマークは4k以上 MCP および GitHub コミュニティから収集した 45 以上のカテゴリから MCP サーバー。 データセットは、異なるカテゴリ間での単一ステップとマルチステップのツールコールの両方で構成されています。
お知らせ: このリポジトリベンチマークはWIPとドメインデータセットがリリースされます。
ニュース*
[2025-10-08] MCP ベンチマークで OneKey MCP ルーター サポートを追加: OneKey MCP プロキシ ルーターを使用して、登録を簡素化し、さまざまな商用 MCP に 1 つのアクセス キーを使用する。 GitHub(Googleマップ、Google検索、Perplexity、Firecrawlなど)の詳細なリストを参照し、WebサイトからOneKeyを生成します。
パフォーマンスリーダーボード
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | AST | Pass@1 | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | AST | | GPT4o | 0.6524 | 0.2182 | 0.8863 | 0.8232 | 0.5200 | 0.4720 | | Qwen2.5 マックス | 0.7262 | 0.2749 | 0.9419 | 0.8871 | 0.6280 | 0.4600 | | クロード・ソンネット 3.7 | 0.6503 | 0.1840 | 0.8415 | 0.8183 | 0.7280 | 0.6200 | | キンギ K2 インストラクター | 0.8182 | 0.2524 | 0.9062 | 0.8772 | 0.7320 | 680 0.3 |
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
README
以下は原文 README の抜粋です。原文を見る。
MCPToolBench++: AI Agent MCP Model Context Protocol MCP Tool Use Benchmark
Introduction
MCPToolBench++ is a large-scale, multi-domain AI Agent Tool Use Benchmark. As of July 2025, this benchmark includes over 4k+ MCP Servers from more than 45 categories collected from the MCP and GitHub communities. The dataset comprises both single-step and multi-step tool calls across different categories.
Notice: This repo benchmark is still WIP and more domain dataset will be released.
News
[2025-10-08] Add OneKey MCP Router Support in MCP Benchmark: Use OneKey MCP Proxy Router to simplify registration and use one access key to various commercial MCPs. See detailed list in GitHub (e.g. Google Maps,Google Search, Perplexity, Firecrawl, etc) and generate OneKey from website.
Performance Leaderboard
| Browser | File System | Search | ||||
|---|---|---|---|---|---|---|
| AST | Pass@1 | AST | Pass@1 | AST | Pass@1 | |
| GPT4o | 0.6524 | 0.2182 | 0.8863 | 0.8232 | 0.5200 | 0.4720 |
| Qwen2.5 Max | 0.7262 | 0.2749 | 0.9419 | 0.8871 | 0.6280 | 0.4600 |
| Claude Sonnet 3.7 | 0.6503 | 0.1840 | 0.8415 | 0.8183 | 0.7280 | 0.6200 |
| Kimi K2 Instruct | 0.8182 | 0.2524 | 0.9062 | 0.8772 | 0.7320 | 0.3680 |
| Qwen3 Coder | 0.8866 | 0.2925 | 0.9080 | 0.8680 | 0.7180 | 0.5227 |
| Claude Opus 4 | - | - | - | - | - | - |
| Claude Sonnet 4 | - | - | - | - | - | - |
| Map | Pay | Finance | ||||
|---|---|---|---|---|---|---|
| AST | Pass@1 | AST | Pass@1 | AST | Pass@1 | |
| GPT4o | 0.6120 | 0.3616 | 0.7077 | 0.5742 | 0.7200 | 0.2889 |
| Qwen2.5 Max | 0.7372 | 0.2272 | 0.6684 | 0.5277 | 0.7511 | 0.2556 |
| Claude Sonnet | 0.5820 | 0.2748 | 0.7058 | 0.5574 | 0.7400 | 0.2311 |
| Kimi K2 Instruct | 0.6088 | 0.2008 | 0.8071 | 0.6761 | 0.7156 | 0.2378 |
| Qwen3 Coder | 0.7830 | 0.3054 | 0.7240 | 0.5440 | 0.7320 | 0.2860 |
| Claude Opus 4 | - | - | - | - | - | - |
| Claude Sonnet 4 | - | - | - | - | - | - |
インストール
npx -y @modelcontextprotocol/server-puppeteer設定
{
"mcpServers": {
"deepnlp-onekey-google-maps": {
"url": "https://agent.deepnlp.org/mcp?server_name=google-maps&onekey={BETA_TEST_KEY_OCT_2025}"
},
}
}