• Мотивация
• Обзор Практические преимущества UC Metadata для агентов ИИ
• Доступные инструменты и функции
• Настройка
• Системные требования
• Установка
• Требования к разрешениям
• Запуск сервера Автономный режим Использование с Cursor Пример использования рабочего процесса (для агента LLM) Управление метаданными как кодом с помощью Terraform
• Обработка длинных запросов
• Зависимости

Мотивация

Databricks Unity Catalog (UC) позволяет детально документировать ваши активы данных, включая каталоги, схемы, таблицы и столбцы. Документирование этих активов требует вложения времени. Один общий вопрос: каковы практические преимущества этого подробного ввода метаданных?

Этот MCP-сервер дает серьезное обоснование этим усилиям. Это позволяет крупным языковым моделям (LLM) напрямую получать доступ и использовать метаданные каталога Unity. Чем более полно ваши данные описаны в UC, тем эффективнее агент LLM может понять вашу среду Databricks. Это более глубокое понимание имеет решающее значение для автономного построения более интеллектуальных и точных запросов SQL для выполнения запросов данных.

Обзор

Databricks MCP Server

• Motivation
• Overview
• Practical Benefits of UC Metadata for AI Agents
• Available Tools and Features
• Setup
  • System Requirements
  • Installation
• Permissions Requirements
• Running the Server
  • Standalone Mode
  • Using with Cursor
• Example Usage Workflow (for an LLM Agent)
• Managing Metadata as Code with Terraform
• Handling Long-Running Queries
• Dependencies

Motivation

Databricks Unity Catalog (UC) allows for detailed documentation of your data assets, including catalogs, schemas, tables, and columns. Documenting these assets thoroughly requires an investment of time. One common question is: what are the practical benefits of this detailed metadata entry?

This MCP server provides a strong justification for that effort. It enables Large Language Models (LLMs) to directly access and utilize this Unity Catalog metadata. The more comprehensively your data is described in UC, the more effectively an LLM agent can understand your Databricks environment. This deeper understanding is crucial for the agent to autonomously construct more intelligent and accurate SQL queries to fulfill data requests.

Overview

This Model Context Protocol (MCP) server is designed to interact with Databricks, with a strong focus on leveraging Unity Catalog (UC) metadata and enabling comprehensive data lineage exploration. The primary goal is to equip an AI agent with a comprehensive set of tools, enabling it to become independent in answering questions about your data. By autonomously exploring UC, understanding data structures, analyzing data lineage (including notebook and job dependencies), and executing SQL queries, the agent can fulfill data requests without direct human intervention for each step.

Beyond traditional catalog browsing, this server enables agents to discover and analyze the actual code that processes your data. Through enhanced lineage capabilities, agents can identify notebooks and jobs that read from or write to tables, then examine the actual transformation logic, business rules, and data quality checks implemented in those notebooks. This creates a powerful feedback loop where agents not only understand what data exists, but also how it’s processed and transformed.