modelscope/evalscope

中文 &nbsp | &nbsp English &nbsp

📖 中文文档 &nbsp | &nbsp 📖 English Documentation &nbsp | &nbsp 🌐 Product Website

⭐ Если вам понравился этот проект, пожалуйста, нажмите кнопку «Звезда» в правом верхнем углу, чтобы поддержать нас. Ваша поддержка — наша мотивация двигаться вперёд!

📝 Введение

EvalScope — это универсальный фреймворк для оценки LLM, созданный сообществом ModelScope. Всего одна команда для начала — он поддерживает оценку возможностей модели, стресс-тестирование производительности выводов и визуализацию результатов.

✨ Ключевые особенности

• ** 📚 Комплексные эталоны оценки**: встроенные несколько признанных отрасль бенчмарков, включая MMLU, C-Eval, GSM8K и другие.
• ** 🧩 Мультимодальная и многодоменная поддержка**: поддерживает оценку различных типов моделей, включая большие языковые модели (LLM), визуальные языковые модели (VLM), эмбеддинг, реранкер, AIGC и другие.
• ** 🧭 Оценка Системы Один**: Оценка моделей принятия решений по тексту с помощью --eval-type systemone_api, с инструкциями по задаче, примерами с несколькими выстрелами и структурированными вероятностями/уверенностью. См. руководство по использованию.

中文 &nbsp ｜ &nbsp English &nbsp

📖 中文文档 &nbsp ｜ &nbsp 📖 English Documentation &nbsp ｜ &nbsp 🌐 Product Website

⭐ If you like this project, please click the “Star” button in the upper right corner to support us. Your support is our motivation to move forward!

📝 Introduction

EvalScope is a one-stop LLM evaluation framework built by the ModelScope Community. Just one command to start — it supports model capability evaluation, inference performance stress testing, and result visualization.

pip install evalscope
evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

✨ Key Features

• 📚 Comprehensive Evaluation Benchmarks: Built-in multiple industry-recognized evaluation benchmarks including MMLU, C-Eval, GSM8K, and more.
• 🧩 Multi-modal and Multi-domain Support: Supports evaluation of various model types including Large Language Models (LLM), Vision Language Models (VLM), Embedding, Reranker, AIGC, and more.
• 🧭 System One Evaluation: Evaluate text Choice decision models via --eval-type systemone_api, with task instructions, few-shot examples and structured probabilities/confidence. See the usage guide.
• 🚀 Multi-backend Integration: Seamlessly integrates multiple evaluation backends including OpenCompass, VLMEvalKit, RAGEval to meet different evaluation needs.