MCP Server и его расширение используют фреймворк Model Context Protocol (MCP) для обеспечения управления NVIDIA Isaac Sim на естественном языке, преобразуя разговорные ИИ-входы в точную манипуляцию симуляцией. Это расширение объединяет экосистему MCP с реализованными интеллектными приложениями.

Особенности

• Контроль естественного языка Айзека Сима
• Динамическое позиционирование и движение роботов
• Индивидуальное освещение и создание сцен
• Продвинутые симуляции роботов с навигацией по препятствиям
• Интерактивный предварительный просмотр кода перед выполнением

Требования

• NVIDIA Isaac Sim 4.2.0 или выше
• Python 3.9+
• Редактор искусственного интеллекта курсора для интеграции с MCP

Обязательное Обязательное требование

• Установка uv/uvx: https://github.com/astral-sh/uv
• Установка mcp[cli] на базовую среду: UV pip install “mcp[cli]”

Установка

Расширение Установка и Включение

Папка расширения Isaac Sim должна указывать на вашу папку проекта:

• Местоположение расширения: ~/Documents/isaac-sim-mcp
• Идентификатор расширения: isaac.sim.mcp_extension

Убедитесь, что расширение успешно запускается. Результат должен выглядеть следующим образом:

По умолчанию расширение должно слушать по адресу localhost:8766.

Установить MCP Server

Isaac Sim MCP Extension and MCP Server

The MCP Server and its extension leverage the Model Context Protocol (MCP) framework to enable natural language control of NVIDIA Isaac Sim, transforming conversational AI inputs into precise simulation manipulation. This expansion bridges the MCP ecosystem with embodied intelligence applications.

Features

• Natural language control of Isaac Sim
• Dynamic robot positioning and movement
• Custom lighting and scene creation
• Advanced robot simulations with obstacle navigation
• Interactive code preview before execution

Requirements

• NVIDIA Isaac Sim 4.2.0 or higher
• Python 3.9+
• Cursor AI editor for MCP integration

Mandatory Pre-requisite

• Install uv/uvx: https://github.com/astral-sh/uv
• Install mcp[cli] to base env: uv pip install “mcp[cli]”

Installation

cd ~/Documents
git clone https://github.com/omni-mcp/isaac-sim-mcp

Install and Enable Extension

Isaac Sim extension folder should point to your project folder:

• Extension location: ~/Documents/isaac-sim-mcp
• Extension ID: isaac.sim.mcp_extension

# Enable extension in Isaac Simulation
# cd to your Isaac Sim installation directory
# You can change assets root to local with --/persistent/isaac/asset_root/default=""
# By default it is an AWS bucket, e.g. --/persistent/isaac/asset_root/default="/share/Assets/Isaac/4.2"
# Setup API KEY for Beaver3d and NVIDIA
export BEAVER3D_MODEL=
export export ARK_API_KEY=
export NVIDIA_API_KEY=""

cd ~/.local/share/ov/pkg/isaac-sim-4.2.0
./isaac-sim.sh --ext-folder /home/ubuntu/Documents/isaac-sim-mcp/ --enable isaac.sim.mcp_extension 

Verify the extension starts successfully. The output should look like:

[7.160s] [ext: isaac.sim.mcp_extension-0.1.0] startup
trigger  on_startup for:  isaac.sim.mcp_extension-0.1.0
settings:  {'envPath': '/home/ubuntu/.local/share/ov/data/Kit/Isaac-Sim/4.2/pip3-envs/default', 'archiveDirs': {}, 'installCheckIgnoreVersion': False, 'allowOnlineIndex': True, 'tryUpgradePipOnFirstUse': False}
Server thread startedIsaac Sim MCP server started on localhost:8766

The extension should be listening at localhost:8766 by default.

Install MCP Server

1. Go to terminal and run, make sure mcp server could start sucessfully at terminal with base venv.

   uv pip install "mcp[cli]"
   uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py
   

2. Start Cursor and open the folder ~/Documents/isaac-sim-mcp
3. Go to Cursor preferences, choose MCP and add a global MCP server:

{
    "mcpServers": {
        "isaac-sim": {
            "command": "uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py"
        }
    }
}

Development Mode