the-ai-merge/multimodal-agents-course

キューブリックコース

やあ、デイブ…

画像、テキスト、音声、動画を理解できるAIエージェントの構築を学びましょう。

The Neural MazeとNeural Bitsによる無料のオープンソースコースで、PixeltableおよびOpikと協力して提供されています

---

📖 このコースについて

既存のMCPサーバーをClaude Desktopに接続する方法を案内するだけのチュートリアルに疲れましたか?

はい、私たちもです。

だからこそ、私たちはKubrick AI、ビデオ処理タスク用のMCPマルチモーダルエージェントを開発したのです。そうです!正しく読みましたね。

💡 エージェント+映像処理…そしてMCP!

このコースはThe Neural MazeとNeural Bits(以下「The Neural Bros」)のコラボレーションで、基礎を超えて本格的な本番環境のAIシステムを構築したい開発者向けに作られています。特に、以下の内容を扱います:

• PixeltableとFastMCPを使ったビデオ処理用のMCPサーバーの構築方法を学ぶ

• カスタムのGroq搭載エージェントを設計し、MCPサーバーに接続し、独自のMCPクライアントで接続する

• エージェントシステムをOpikと統合して完全な観察性とプロンプトのバージョン管理を行う

🖊️ 何を学ぶか

• マルチモーダルデータ処理およびステートエージェントのためのPixeltableの使い方を学ぶ

Kubrick Course

Hi Dave...

Learn to build AI Agents that can understand images, text, audio and videos.

A free, Open-source course by The Neural Maze and Neural Bits in collaboration with Pixeltable and Opik

---

📖 About This Course

Tired of tutorials that just walk you through connecting an existing MCP server to Claude Desktop?

Yeah, us too.

That’s why we built Kubrick AI, an MCP Multimodal Agent for video processing tasks. Yes! You read that right.

💡 Agents + Video Processing … and MCP!

This course is a collaboration between The Neural Maze and Neural Bits (from now on, “The Neural Bros”), and it’s built for developers who want to go beyond the basics and build serious, production-ready AI Systems. In particular, you’ll:

• Learn how to build an MCP server for video processing using Pixeltable and FastMCP

• Design a custom, Groq-powered agent, connected to your MCP server with its own MCP client

• Integrate your agentic system with Opik for full observability and prompt versioning

🖊️ What you’ll learn

• Learn how to use Pixeltable for multimodal data processing and stateful agents

• Create complex MCP servers using FastMCP: expose resources, prompts, and tools

• Apply prompt versioning to your MCP server (instead of defining the prompts in the Agent API)

• Learn how to implement custom MCP clients for your agents

• Implement an MCP Tool Agent from scratch, using Llama 4 Scout and Maverick as the LLMs

• Use Opik for MCP prompt versioning

• Learn how to implement custom tracing and monitoring with Opik

🚀 No shortcuts. No fluff. Let’s learn by doing.

---

💻 What You’ll Do:

Completing this course, you’ll learn how to design and enable Agents to understand multimodal data, across images, video, audio, and text inputs, all within a single system.

Specifically, you’ll get to:

• Build a complex Multimodal Processing Pipeline
• Build a Video Search Engine and expose its functionality to an Agent via MCP (Model Context Protocol)
• Build a production-ready API to power the Agent.
• Integrate LLMOps principles and best software engineering practices.
• Learn about video, embeddings, streaming APIs, Vision Language Models (VLMs), and more.

After completing this course, you’ll have built your own Kubrick Agent with a HAL-themed spin-off, to play the role of a new set of eyes and ears:

---

Getting Started