ロボットのMCPサーバーに関するビデオのコンパニオンリポジトリ:

• LLMベースのAIエージェント(Claude Desktop、Cursor、Windsurfなど)のMCP Server**がロボットを制御する
• 手動操作のための指示のキーボード制御 -CLI AI Agentは、Claude、Gemini、GPTモデルでロボットを制御するために直接使用できます

MCP についてもっと知りたい場合は、公式 MCP ドキュメントを参照してください。

本リポジトリは、SO-ARM100/101 のロボットで動作するように仮定します。 ロボットのセットアップ方法についての詳細な手順については、 lerobot SO-101 セットアップガイドを参照してください。

新着情報 LeKiwi(腕のみ、MCPによるモバイルベースコントロールはTBD)を部分的にサポートします。 また、MCPサーバを使用した簡易エージェントを追加して、ロボットを制御しました。 クロード、ジェミニ、GPTモデルに対応しています。 私の経験では、クロードは最高であり、GPTはそれほど良いものではありません。 ジェミニは間にあります。

ビデオとこのリポジトリをリリースした後、LeRobotは元のコードとの互換性を遮断するライブラリの重要な更新を発表しました。

元のコードを使い、動画を正確にフォローしたい場合は、このリリースを使用してください。

クイックスタート

##1. 依存関係のインストール

SO-ARM100 Robot Control with MCP

A companion repository to my video about MCP server for the robot:

• MCP Server for LLM-based AI agents (Claude Desktop, Cursor, Windsurf, etc.) to control the robot
• Direct keyboard control for manual operation
• CLI AI Agent can use it directly to control the robot with Claude, Gemini or GPT model

If you want to know more about MCP refer to the official MCP documentation

This repository suppose to work with the SO-ARM100 / 101 robots. Refer to lerobot SO-101 setup guide for the detailed instructions on how to setup the robot.

Update! Now it partially supports LeKiwi (only arm, the mobile base control through MCP is TBD). I also added a simple agent that uses MCP server to control the robot. It supports Claude, Gemini and GPT models. In my experience Claude is the best and GPT is not so good, Gemini is in between.

After I released the video and this repository, LeRobot released a significant update of the library that breaks the compatibility with the original code.

If you want to use the original code and exactly follow the video, please use this release.

Quick Start

1. Install Dependencies

For simplicity I use simple pip instead of uv that is often recommended in MCP tutorials - it works just fine.

python -m venv .venv
source .venv/bin/activate  # or .venv\Scripts\activate on Windows
pip install -r requirements.txt

It may be required to install lerobot separately, just use the official instructions from the lerobot repository

2. Connect Your Robot

• Connect SO-ARM100 via USB
• Update config.py with your serial port for so-arm (e.g., /dev/tty.usbmodem58FD0168731) or robot_ip for lekiwi (e.g., 192.168.1.1)
• Connect cameras and update config.py with the correct indices and names (for lekiwi only names are important)

3. Use the robot

🔍 Check Robot Status and Calibration:

python check_positions.py

This will show you the current robot state without actual control. Move your robot manually to make sure it is properly calibrated and configured.

After the latest update, lerobot is using the normalized joints states instead of degrees. You can update MOTOR_NORMALIZED_TO_DEGREE_MAPPING in config.py to match your robot calibration. You will need to update these values every time you recalibrate the robot.

🎮 Manual Keyboard Control:

python keyboard_controller.py

Now you can try to control the robot manually using the keyboard. Test it before moving on to the MCP step, to make sure it works properly.

🛠️ MCP server in the dev mode

mcp dev mcp_robot_server.py