Бумага | Особенности | Установка | Использование | CLI | Разработка

---

Фреймворк глубокой оценки LLM на основе протокола контекста модели (MCP).

Обзор

Этот проект предоставляет фреймворк для оценки больших языковых моделей с использованием протокола контекста модели. Он позволяет автоматизировать конечные генерация задач до конца и глубокая оценка агентов LLM по различным измерениям.

Демо

🎬 Смотреть полное демо-видео (со звуком)

Нажмите выше, чтобы скачать и просмотреть полную демонстрацию MCPEval с аудиообъяснением

Архитектура

Архитектура системы MCPEval, показывающая полный конвейер оценки от генерации задач до анализа

Главная страница

Веб-интерфейс MCPEval, обеспечивающий интуитивно понятный доступ ко всем функциям оценки

Новости

• v1.1.0 — веб-интерфейс для многоходовой симуляции, просмотрщик повторов разговоров, панель сравнения моделей с статистическим тестированием, SQLite сохраняющийся и REST API v1, прокси SFRGateway, CI-конвейер и комплексный тестовый набор
• Поддержка GPT-5
• Использование model-config для генерации и оценки любой модели
• Выпускается новый кли для повторной валидации для генерации высококачественных данных

Особенности

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

Paper | Features | Installation | Usage | CLI | Development

---

A Model Context Protocol (MCP) based LLM deep evaluation framework.

Overview

This project provides a framework for evaluating Large Language Models using the Model Context Protocol. It enables automating end- to-end task generation and deep evaluation of LLM agents across diverse dimensions.

Demo

🎬 Watch Full Demo Video (with audio)

Click above to download and view the complete MCPEval demonstration with audio explanation

Architecture

MCPEval system architecture showing the complete evaluation pipeline from task generation to analysis

Homepage

MCPEval web interface providing intuitive access to all evaluation features

News

• v1.1.0 — Multi-turn simulation web UI, conversation replay viewer, model comparison dashboard with statistical testing, SQLite persistence & v1 REST API, SFRGateway proxy, CI pipeline, and comprehensive test suite
• Supporting GPT-5
• Using model-config for using any model to generate and evaluate
• A new revalidation cli is released for generating high-quality data

Features

• 🚀 Automated End-to-End Evaluation — Single-command pipeline from task generation to analysis with parallel execution
• 🔧 MCP Protocol Integration — 15+ built-in MCP servers spanning enterprise, utility, and public API domains
• 📊 Comprehensive Analysis & Insights — Statistical model comparison with bootstrap confidence intervals and paired tests