modelscope/evalscope

中文 & nbsp | &nbsp 영어 & nbsp

📖 中文문서 & nbsp | &nbsp 📖 영어 문서 및 nbsp | &nbsp 🌐 제품 웹사이트

⭐ 이 프로젝트가 마음에 드신다면, 우측 상단의 “별” 버튼을 눌러 저희를 응원해 주세요. 여러분의 응원이 저희가 앞으로 나아가게 하는 동기입니다!

📝 서론

EvalScope는 ModelScope 커뮤니티가 개발한 원스톱 LLM 평가 프레임워크입니다. 시작은 단 하나의 명령어뿐이며, 모델 역량 평가, 추론 성능 스트레스 테스트, 결과 시각화를 지원합니다.

✨ 주요 특징

• ** 📚 종합 평가 벤치마크**: MMLU, C-Eval, GSM8K 등 여러 업계 인정 평가 벤치마크가 내장되어 있습니다.
• ** 🧩 다중 모달 및 다중 도메인 지원**: 대형 언어 모델(LLM), 비전 언어 모델(VLM), 임베딩, 리랭커, AIGC 등 다양한 모델 유형의 평가를 지원합니다.
• ** 🧭 시스템 1 평가**: --eval-type systemone_api를 통해 텍스트 선택 의사결정 모델을 평가하며, 작업 지침, 소수 샷 예제, 구조화된 확률/신뢰도를 포함합니다. 사용 가이드를 참조하세요.

中文 &nbsp ｜ &nbsp English &nbsp

📖 中文文档 &nbsp ｜ &nbsp 📖 English Documentation &nbsp ｜ &nbsp 🌐 Product Website

⭐ If you like this project, please click the “Star” button in the upper right corner to support us. Your support is our motivation to move forward!

📝 Introduction

EvalScope is a one-stop LLM evaluation framework built by the ModelScope Community. Just one command to start — it supports model capability evaluation, inference performance stress testing, and result visualization.

pip install evalscope
evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

✨ Key Features

• 📚 Comprehensive Evaluation Benchmarks: Built-in multiple industry-recognized evaluation benchmarks including MMLU, C-Eval, GSM8K, and more.
• 🧩 Multi-modal and Multi-domain Support: Supports evaluation of various model types including Large Language Models (LLM), Vision Language Models (VLM), Embedding, Reranker, AIGC, and more.
• 🧭 System One Evaluation: Evaluate text Choice decision models via --eval-type systemone_api, with task instructions, few-shot examples and structured probabilities/confidence. See the usage guide.
• 🚀 Multi-backend Integration: Seamlessly integrates multiple evaluation backends including OpenCompass, VLMEvalKit, RAGEval to meet different evaluation needs.