livekit/agents

JS/TSライブラリをお探しですか?AgentsJSをチェックしてみてください

エージェントとは何?

エージェントフレームワークは、リアルタイムでプログラム可能な参加者を構築するために設計されています サーバー上で動作するもの。会話型でマルチモーダルな音声を作るために使う 見て、聞き、理解できるエージェントたち。

特徴

• 柔軟な統合:ユースケースに合った適切なSTT、LLM、TTS、REALTIME APIをミックス&マッチできる包括的なエコシステム。
• 統合ジョブスケジューリング:エンドユーザーとエージェントをつなぐためのディスパッチAPIを用いた組み込みタスクスケジューリングおよび配布機能。
• 広範なWebRTCクライアント:LiveKitのオープンソースSDKエコシステムを用いてクライアントアプリケーションを構築し、主要なプラットフォームすべてをサポートします。
• 電話連携:LiveKitの電話スタックとシームレスに連携し、エージェントが電話と通話したり電話を受けたりできるようにします。
• クライアントとのデータ交換:RPCやその他のデータAPIを使ってクライアントとシームレスにデータを交換しましょう。
• セマンティックターン検出:トランスフォーマーモデルを用いて、ユーザーがターンを終えたタイミングを検出し、中断を減らすのに役立ちます。
• MCPサポート:MCPのネイティブサポート。MCPサーバーが提供するツールを1行のコードで統合します。

Looking for the JS/TS library? Check out AgentsJS

What is Agents?

The Agent Framework is designed for building realtime, programmable participants that run on servers. Use it to create conversational, multi-modal voice agents that can see, hear, and understand.

Features

• Flexible integrations: A comprehensive ecosystem to mix and match the right STT, LLM, TTS, and Realtime API to suit your use case.
• Integrated job scheduling: Built-in task scheduling and distribution with dispatch APIs to connect end users to agents.
• Extensive WebRTC clients: Build client applications using LiveKit’s open-source SDK ecosystem, supporting all major platforms.
• Telephony integration: Works seamlessly with LiveKit’s telephony stack, allowing your agent to make calls to or receive calls from phones.
• Exchange data with clients: Use RPCs and other Data APIs to seamlessly exchange data with clients.
• Semantic turn detection: Uses a transformer model to detect when a user is done with their turn, helps to reduce interruptions.
• MCP support: Native support for MCP. Integrate tools provided by MCP servers with one line of code.
• Builtin test framework: Write tests and use judges to ensure your agent is performing as expected.
• Open-source: Fully open-source, allowing you to run the entire stack on your own servers, including LiveKit server, one of the most widely used WebRTC media servers.

Installation

To install the core Agents library, along with plugins for popular model providers: