mcp-tool-bench/mcptoolbenchpp
Browser automationЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
mcp-tool-bench/mcptoolbenchpp - кандидат на сервер MCP, импортированный из https://github.com/mcp-tool-bench/mcptoolbenchpp.
Обзор
mcp-tool-bench/mcptoolbenchpp - кандидат на сервер MCP, импортированный из https://github.com/mcp-tool-bench/mcptoolbenchpp.
Обзор (машинный перевод)
GitHub | Обнимая лицо | Модель
** Введение**
MCPToolBench++ - это крупномасштабный многодоменный инструмент AI Agent Tool Use Benchmark. По состоянию на июль 2025 года этот показатель включает более 4k+ Серверы MCP из более чем 45 категорий собраны из сообществ MCP и GitHub. Набор данных содержит как одноступенчатые, так и многоступенчатые вызовы инструментов в разных категориях.
Уведомление: Этот бенчмарк репо по-прежнему является WIP, и будет выпущено больше набора данных домена.
Новости
[2025-10-08] Добавить поддержку маршрутизатора OneKey MCP в MCP Benchmark: Используйте прокси-маршрутизатор OneKey MCP для упрощения регистрации и использования одного ключа доступа к различным коммерческим MCP. См. подробный список в GitHub (например, Google Maps, Google Search, Perplexity, Firecrawl и т. д.) и создайте OneKey с веб-сайта.
##Исполнительная таблица
| | Браузер | | Файловая система | | Поиск | [скрыто] [скрыто] [скрыто] [скрыто] [скрыто] [скрыто] | | AST | Pass@1 | AST | Pass@1 | GPT4o | 0,6524 | 0,2182 | 0,8863 | 0,8232 | 0,5200 | 0,4720 | Qwen2.5 Max | 0.7262 | 0.2749 | 0.9419 | 0.8871 | 0.6280 | 0.4600 | Клод Соннет 3.7 | 0.6503 | 0.1840 | 0.8415 | 0.8183 | 0.7280 | 0.6200 | Kimi K2 Instruct | 0.8182 | 0.2524 | 0.9062 | 0.8772 | 0.7320 | 0.3680 |
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
MCPToolBench++: AI Agent MCP Model Context Protocol MCP Tool Use Benchmark
Introduction
MCPToolBench++ is a large-scale, multi-domain AI Agent Tool Use Benchmark. As of July 2025, this benchmark includes over 4k+ MCP Servers from more than 45 categories collected from the MCP and GitHub communities. The dataset comprises both single-step and multi-step tool calls across different categories.
Notice: This repo benchmark is still WIP and more domain dataset will be released.
News
[2025-10-08] Add OneKey MCP Router Support in MCP Benchmark: Use OneKey MCP Proxy Router to simplify registration and use one access key to various commercial MCPs. See detailed list in GitHub (e.g. Google Maps,Google Search, Perplexity, Firecrawl, etc) and generate OneKey from website.
Performance Leaderboard
| Browser | File System | Search | ||||
|---|---|---|---|---|---|---|
| AST | Pass@1 | AST | Pass@1 | AST | Pass@1 | |
| GPT4o | 0.6524 | 0.2182 | 0.8863 | 0.8232 | 0.5200 | 0.4720 |
| Qwen2.5 Max | 0.7262 | 0.2749 | 0.9419 | 0.8871 | 0.6280 | 0.4600 |
| Claude Sonnet 3.7 | 0.6503 | 0.1840 | 0.8415 | 0.8183 | 0.7280 | 0.6200 |
| Kimi K2 Instruct | 0.8182 | 0.2524 | 0.9062 | 0.8772 | 0.7320 | 0.3680 |
| Qwen3 Coder | 0.8866 | 0.2925 | 0.9080 | 0.8680 | 0.7180 | 0.5227 |
| Claude Opus 4 | - | - | - | - | - | - |
| Claude Sonnet 4 | - | - | - | - | - | - |
| Map | Pay | Finance | ||||
|---|---|---|---|---|---|---|
| AST | Pass@1 | AST | Pass@1 | AST | Pass@1 | |
| GPT4o | 0.6120 | 0.3616 | 0.7077 | 0.5742 | 0.7200 | 0.2889 |
| Qwen2.5 Max | 0.7372 | 0.2272 | 0.6684 | 0.5277 | 0.7511 | 0.2556 |
| Claude Sonnet | 0.5820 | 0.2748 | 0.7058 | 0.5574 | 0.7400 | 0.2311 |
| Kimi K2 Instruct | 0.6088 | 0.2008 | 0.8071 | 0.6761 | 0.7156 | 0.2378 |
| Qwen3 Coder | 0.7830 | 0.3054 | 0.7240 | 0.5440 | 0.7320 | 0.2860 |
| Claude Opus 4 | - | - | - | - | - | - |
| Claude Sonnet 4 | - | - | - | - | - | - |
Установка
npx -y @modelcontextprotocol/server-puppeteerКонфигурация
{
"mcpServers": {
"deepnlp-onekey-google-maps": {
"url": "https://agent.deepnlp.org/mcp?server_name=google-maps&onekey={BETA_TEST_KEY_OCT_2025}"
},
}
}