modelscope/evalscope
Developer toolsこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
効率的な大規模モデル(LLM、VLM、AIGC)評価とパフォーマンスベンチマーキングのための、効率的かつカスタマイズ可能なフレームワーク。
概要
📖 中文文档 & nbsp |   📖 英語文書 ⭐ このプロジェクトを気に入っていただけたら、右上の「スター」ボタンをクリックして応援してください。皆さまのご支援が、私たちの前進の原動力です! EvalScopeは、ModelScopeコミュニティによって構築されたワンストップのLLM評価フレームワークです。スタートに必要なコマンドは一つだけで、モデル能力評価、推論性能ストレステスト、結果の可視化をサポートします。 - : MMLU、C-Eval、GSM8Kなど、複数の業界認定評価ベンチマークを内蔵しています。- : 大規模言語モデル(LLM)、ビジョン言語モデル(VLM)、組み込み、Reranker、AIGCなど、さまざまなモデルタイプの評価をサポートしています。- : OpenCompass、VLMEvalKit、RAGEvalなど複数の評価バックエンドをシームレスに統合し、さまざまな評価ニーズに対応します。- : ベンチマークを駆動します(例:
概要（AI 翻訳）
中文 & nbsp |   英語 & nbsp
📖 中文 & nbsp |   📖 英語ドキュメント & nbsp |   🌐 製品ウェブサイト
⭐このプロジェクトを気に入っていただけたら、右上の「スター」ボタンをクリックして応援してください。皆さまのご支援が、私たちの前進の原動力です!
📝 はじめに
EvalScopeは、ModelScopeコミュニティによって構築されたワンストップのLLM評価フレームワークです。スタートに必要なコマンドは一つだけで、モデル能力評価、推論性能ストレステスト、結果の可視化をサポートします。
✨ 主な特徴
- ** 📚 包括的な評価ベンチマーク:MMLU、C-Eval、GSM8Kなど、複数の業界認定評価ベンチマークが組み込まれています。
- ** 🧩 マルチモーダルおよびマルチドメインサポート**:大規模言語モデル(LLM)、ビジョン言語モデル(VLM)、埋め込み、リランカー、AIGCなど、さまざまなモデルタイプの評価をサポートします。
- ** 🧭 System One評価**:タスク指示、少ショット例、構造化された確率/信頼度を用いて、
--eval-type systemone_apiを用いたテキスト選択意思決定モデルを評価。使用ガイドを参照してください。
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
README
以下は原文 README の抜粋です。原文を見る。
中文   ｜   English  
📖 中文文档   ｜   📖 English Documentation   ｜   🌐 Product Website
⭐ If you like this project, please click the “Star” button in the upper right corner to support us. Your support is our motivation to move forward!
📝 Introduction
EvalScope is a one-stop LLM evaluation framework built by the ModelScope Community. Just one command to start — it supports model capability evaluation, inference performance stress testing, and result visualization.
pip install evalscope
evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
✨ Key Features
- 📚 Comprehensive Evaluation Benchmarks: Built-in multiple industry-recognized evaluation benchmarks including MMLU, C-Eval, GSM8K, and more.
- 🧩 Multi-modal and Multi-domain Support: Supports evaluation of various model types including Large Language Models (LLM), Vision Language Models (VLM), Embedding, Reranker, AIGC, and more.
- 🧭 System One Evaluation: Evaluate text Choice decision models via
--eval-type systemone_api, with task instructions, few-shot examples and structured probabilities/confidence. See the usage guide. - 🚀 Multi-backend Integration: Seamlessly integrates multiple evaluation backends including OpenCompass, VLMEvalKit, RAGEval to meet different evaluation needs.
推奨ツール
別のキーワードを試すか、フィルタを外してください。
インストール
npx skillfish add modelscope/evalscope