TDQS является открытой основой для оценки того, насколько хорошо определение инструмента MCP связывается с агентом ИИ. Это методология, которую использует Glama для оценки каждого инструмента каждого сервера MCP и разъема, размещенного в его реестре.

Этот документ представляет собой полную спецификацию — рубрику, точные подсказки, формулы агрегирования и оперативную практику, лежащую в основе его использования в масштабах реестра, — и является достаточным для того, чтобы сводить TDQS к концу. Если вы поддерживаете MCP-сервер и просто хотите получить лучший балл, перейдите к улучшению своего балла и используйте рубрику в качестве контрольного списка.

• Обоснование оценки: glama.ai/blog/2026-04-03-tool-definition-quality-score-tdqs Методология индексации: glama.ai/mcp/metodology Живые баллы: каждый инструмент на glama.ai/mcp/tools имеет публичную страницу с полным разбивкой по размеру.

Содержимое

• Зачем оценивать определения инструментов?
• Что забивается
• Трубопровод Стадия 1: Контекстные сигналы Стадия 2: Жесткие ворота Стадия 3: Оценка рубрик LLM Стадия 4: Детерминированная постобработка
• Вычислить счет
• Уровни
• Флаги и запахи
• Серверные баллы
• 1. Качество определения инструмента (70% от общего объема)
• 2. Согласованность (30% от общего объема) Затененные инструменты
• В целом

Tool Definition Quality Score (TDQS)

TDQS is an open framework for scoring how well an MCP tool definition communicates to an AI agent. It is the methodology Glama uses to score every tool of every MCP server and hosted connector in its registry.

This document is the complete specification — the rubric, the exact prompts, the aggregation formulas, and the operational practices behind running it at registry scale — and is sufficient to reimplement TDQS end to end. If you maintain an MCP server and just want a better score, skip to Improving your score and use the rubric as a checklist.

• Scoring rationale: glama.ai/blog/2026-04-03-tool-definition-quality-score-tdqs
• Indexing methodology: glama.ai/mcp/methodology
• Live scores: every tool on glama.ai/mcp/tools has a public score page with the full per-dimension breakdown

Contents

• Why score tool definitions?
• What gets scored
• Scoring pipeline
  • Stage 1: Context signals
  • Stage 2: Hard gates
  • Stage 3: LLM rubric evaluation
  • Stage 4: Deterministic post-processing
  • Computing the score
  • Tiers
  • Flags and smells
• Server-level scores
  • 1. Tool definition quality (70% of overall)
  • 2. Coherence (30% of overall)
  • Shadowed tools
  • Overall
• Output format
• Improving your score
• TDQS across the registry
• Running TDQS at scale
  • How Glama uses the scores
• Appendix A: Tool scoring prompt
• Appendix B: Server coherence prompt
• References

Why score tool definitions?

Two empirical studies motivated the framework:

• “Model Context Protocol (MCP) Tool Descriptions Are Smelly!” audited 856 tools across 103 MCP servers and found that 97% of tool descriptions contain at least one quality defect, 56% do not clearly state what the tool does, and 89% never say when the tool should or should not be used.