semyonsinchenko/pyspark-mcp-server

сервер PySpark MCP Server

Описание

PySpark MCP Сервер представляет собой легкую серверную реализацию протокола Model Context Protocol (MCP) для Apache Spark.

Основная цель этого MCP-сервера заключается в упрощении оптимизации запросов с использованием систем ИИ. Он предоставляет как логические, так и физические планы запросов от Spark до систем ИИ для анализа, а также дополнительную информацию о плане запросов. Кроме того, сервер предоставляет информацию о каталогах и таблицах, что позволяет обнаруживать данные в озерах данных, работающих на Spark.

Быстрый старт

###Установка

Запуск сервера

После установки используйте команду pyspark-mcp для запуска сервера:

CLI автоматически обрабатывает конфигурацию spark-submit. Поддерживаются все стандартные варианты подачи искры:

Варианты CLI

| Опция | Дефолт | Описание [скрыто] [скрыто] [скрыто] [скрыто] [скрыто] [скрыто] --master``local[*]``--master[T3][T]][T][T]][T][T][T]][T][T][T]][T][T][T]][T][T][T]][T][T][T][T]][T][T][T]][T][T][T]][T][T][T]][T][T][T][T]][T][T][T][T]][T][T][T]][T][T][T]][T][T][T]][T][T][T][T]][T][T][T]][T][T][T][T]][T][T][T]][T][T][T][T]][T][T][T][T]][T][T][T][T] --host | 127.0.0.1 | MCP-адрес сервера | --port | 8090 | Номер порта сервера MCP | [8][9][9]] Путь к исполнению [[Т10]] | - | Командование печати без выполнения |

Всякое [[11]], [[12]], [[13]], [[14]] и т.д.

hi# PySpark MCP Server

Description

PySpark MCP Server is a lightweight server implementation of Model Context Protocol (MCP) for Apache Spark.

The primary purpose of this MCP server is to facilitate query optimization using AI systems. It provides both logical and physical query plans from Spark to AI systems for analysis, along with additional query plan information. Furthermore, the server exposes catalog and table information, enabling data discovery capabilities in data lakes powered by Spark.

Quick Start

Installation

pip install pyspark-mcp

Running the Server

After installation, use the pyspark-mcp command to start the server:

pyspark-mcp --master "local[*]" --host 127.0.0.1 --port 8090

The CLI automatically handles spark-submit configuration. All standard spark-submit options are supported:

# With additional Spark configuration
pyspark-mcp --master "local[*]" --conf spark.driver.memory=4g

# YARN cluster mode
pyspark-mcp --master yarn --deploy-mode client --num-executors 4

# With additional JARs
pyspark-mcp --master "local[*]" --jars /path/to/connector.jar

# Preview the spark-submit command without running
pyspark-mcp --master "local[*]" --dry-run

# With GraphFrames package
pyspark-mcp --master "local[*]" --packages io.graphframes:graphframes-spark3_2.12:0.10.1

CLI Options

All spark-submit options (--conf, --jars, --packages, --executor-memory, etc.) are passed through automatically.

Adding the running MCP to the Claude-code

# Must run one server on a different port per Claude instance
claude mcp add --transport http pyspark-mcp http://127.0.0.1:8090/mcp

Dependencies

• Python >=3.11,<4.0
• fastmcp >= 2.10.6
• loguru
• pyspark >= 3.5

Bundled MCP tools

The following tools are included in the PySpark MCP Server: