MCP 서버와 그 확장은 모델 컨텍스트 프로토콜(MCP) 프레임워크를 활용하여 NVIDIA Isaac Sim의 자연어 제어를 가능하게 하며, 대화형 AI 입력을 정밀한 시뮬레이션 조작으로 전환합니다. 이 확장은 MCP 생태계와 구현 지능 응용 분야를 연결합니다.

특징

• 아이작 심의 자연어 제어
• 동적 로봇 위치 및 이동
• 맞춤형 조명 및 장면 생성
• 장애물 내비게이션을 포함한 고급 로봇 시뮬레이션
• 실행 전 인터랙티브 코드 미리보기

요구 사항

• NVIDIA 아이작 심 4.2.0 이상
• 파이썬 3.9+
• MCP 통합을 위한 커서 AI 편집기

필수 선수과목

• uv/uvx 설치: https://github.com/astral-sh/uv
• 기본 환경으로 mcp[cli] 설치: uv pip install “mcp[cli]”

설치

확장 프로그램 설치 및 활성화

Isaac Sim 확장 폴더는 프로젝트 폴더를 가리켜야 합니다:

• 확장 위치: ~/Documents/isaac-sim-mcp
• 내선 ID: isaac.sim.mcp_extension

확장 프로그램이 성공적으로 시작되는지 확인하세요. 출력은 다음과 같아야 합니다:

확장 프로그램은 기본적으로 localhost:8766에서 대기 중이어야 합니다.

MCP 서버 설치

Isaac Sim MCP Extension and MCP Server

The MCP Server and its extension leverage the Model Context Protocol (MCP) framework to enable natural language control of NVIDIA Isaac Sim, transforming conversational AI inputs into precise simulation manipulation. This expansion bridges the MCP ecosystem with embodied intelligence applications.

Features

• Natural language control of Isaac Sim
• Dynamic robot positioning and movement
• Custom lighting and scene creation
• Advanced robot simulations with obstacle navigation
• Interactive code preview before execution

Requirements

• NVIDIA Isaac Sim 4.2.0 or higher
• Python 3.9+
• Cursor AI editor for MCP integration

Mandatory Pre-requisite

• Install uv/uvx: https://github.com/astral-sh/uv
• Install mcp[cli] to base env: uv pip install “mcp[cli]”

Installation

cd ~/Documents
git clone https://github.com/omni-mcp/isaac-sim-mcp

Install and Enable Extension

Isaac Sim extension folder should point to your project folder:

• Extension location: ~/Documents/isaac-sim-mcp
• Extension ID: isaac.sim.mcp_extension

# Enable extension in Isaac Simulation
# cd to your Isaac Sim installation directory
# You can change assets root to local with --/persistent/isaac/asset_root/default=""
# By default it is an AWS bucket, e.g. --/persistent/isaac/asset_root/default="/share/Assets/Isaac/4.2"
# Setup API KEY for Beaver3d and NVIDIA
export BEAVER3D_MODEL=
export export ARK_API_KEY=
export NVIDIA_API_KEY=""

cd ~/.local/share/ov/pkg/isaac-sim-4.2.0
./isaac-sim.sh --ext-folder /home/ubuntu/Documents/isaac-sim-mcp/ --enable isaac.sim.mcp_extension 

Verify the extension starts successfully. The output should look like:

[7.160s] [ext: isaac.sim.mcp_extension-0.1.0] startup
trigger  on_startup for:  isaac.sim.mcp_extension-0.1.0
settings:  {'envPath': '/home/ubuntu/.local/share/ov/data/Kit/Isaac-Sim/4.2/pip3-envs/default', 'archiveDirs': {}, 'installCheckIgnoreVersion': False, 'allowOnlineIndex': True, 'tryUpgradePipOnFirstUse': False}
Server thread startedIsaac Sim MCP server started on localhost:8766

The extension should be listening at localhost:8766 by default.

Install MCP Server

1. Go to terminal and run, make sure mcp server could start sucessfully at terminal with base venv.

   uv pip install "mcp[cli]"
   uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py
   

2. Start Cursor and open the folder ~/Documents/isaac-sim-mcp
3. Go to Cursor preferences, choose MCP and add a global MCP server:

{
    "mcpServers": {
        "isaac-sim": {
            "command": "uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py"
        }
    }
}

Development Mode