종이 | 특징 | 설치 | 사용 | CLI | 개발

---

모델 컨텍스트 프로토콜(MCP) 기반 LLM 심층 평가 프레임워크.

개요

이 프로젝트는 모델 컨텍스트 프로토콜을 사용하여 대형 언어 모델을 평가하는 프레임워크를 제공합니다. 자동화를 가능하게 합니다- 다양한 차원에서 LLM 에이전트의 최종 과제 생성과 심층 평가를 수행합니다.

데모

🎬 전체 데모 영상 (오디오와 함께) 시청

위 클릭을 클릭하여 음성 설명과 함께 전체 MCPEval 시연을 다운로드하고 시청하세요

건축

작업 생성부터 분석까지 전체 평가 파이프라인을 보여주는 MCPEval 시스템 아키텍처

홈페이지

MCPEval 웹 인터페이스는 모든 평가 기능에 직관적으로 접근할 수 있습니다

뉴스

• v1.1.0 — 다중 전환 시뮬레이션 웹 UI, 대화 재생 뷰어, 통계 테스트가 포함된 모델 비교 대시보드, SQLite 지속성 및 v1 REST API, SFRGateway 프록시, CI 파이프라인, 종합 테스트 스위트
• GPT-5 지원
• 모델을 생성하고 평가하기 위해 모델을 사용할 수 있는 model-config
• 고품질 데이터를 생성하기 위한 새로운 재검증 CLI 출시

특징

MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models

Paper | Features | Installation | Usage | CLI | Development

---

A Model Context Protocol (MCP) based LLM deep evaluation framework.

Overview

This project provides a framework for evaluating Large Language Models using the Model Context Protocol. It enables automating end- to-end task generation and deep evaluation of LLM agents across diverse dimensions.

Demo

🎬 Watch Full Demo Video (with audio)

Click above to download and view the complete MCPEval demonstration with audio explanation

Architecture

MCPEval system architecture showing the complete evaluation pipeline from task generation to analysis

Homepage

MCPEval web interface providing intuitive access to all evaluation features

News

• v1.1.0 — Multi-turn simulation web UI, conversation replay viewer, model comparison dashboard with statistical testing, SQLite persistence & v1 REST API, SFRGateway proxy, CI pipeline, and comprehensive test suite
• Supporting GPT-5
• Using model-config for using any model to generate and evaluate
• A new revalidation cli is released for generating high-quality data

Features

• 🚀 Automated End-to-End Evaluation — Single-command pipeline from task generation to analysis with parallel execution
• 🔧 MCP Protocol Integration — 15+ built-in MCP servers spanning enterprise, utility, and public API domains
• 📊 Comprehensive Analysis & Insights — Statistical model comparison with bootstrap confidence intervals and paired tests