livekit/agents

Ищете библиотеку JS/TS? Посмотрите AgentsJS

Что такое агенты?

Agent Framework предназначен для создания программируемых участников в реальном времени которые работают на серверах. Используйте его для создания разговорного, мультимодального голоса Агенты, которые могут видеть, слышать и понимать.

Особенности

• Гибкие интеграции: Комплексная экосистема для комбинирования подходящих STT, LLM, TTS и Realtime API в соответствии с вашим сценарием.
• Интегрированное планирование заданий: встроенное планирование и распределение задач с помощью API диспетчеризации для соединения конечных пользователей с агентами.
• Обширные клиенты WebRTC: Создание клиентских приложений с использованием экосистемы SDK с открытым исходным кодом LiveKit, поддерживающей все основные платформы.
• Интеграция с телефонией: Бесшовно работает с телефонным стеком LiveKit, позволяя агенту совершать звонки или принимать звонки с телефонов.
• Обмен данными с клиентами: Использование RPC и других API данных для бесшовного обмена данными с клиентами.
• Семантическое обнаружение поворотов: использует модель трансформатора для определения, когда пользователь завершил свой ход, помогает уменьшить прерывания.
• Поддержка MCP: Нативная поддержка MCP. Интеграция инструментов, предоставляемых серверами MCP, с одной строкой кода.

Looking for the JS/TS library? Check out AgentsJS

What is Agents?

The Agent Framework is designed for building realtime, programmable participants that run on servers. Use it to create conversational, multi-modal voice agents that can see, hear, and understand.

Features

• Flexible integrations: A comprehensive ecosystem to mix and match the right STT, LLM, TTS, and Realtime API to suit your use case.
• Integrated job scheduling: Built-in task scheduling and distribution with dispatch APIs to connect end users to agents.
• Extensive WebRTC clients: Build client applications using LiveKit’s open-source SDK ecosystem, supporting all major platforms.
• Telephony integration: Works seamlessly with LiveKit’s telephony stack, allowing your agent to make calls to or receive calls from phones.
• Exchange data with clients: Use RPCs and other Data APIs to seamlessly exchange data with clients.
• Semantic turn detection: Uses a transformer model to detect when a user is done with their turn, helps to reduce interruptions.
• MCP support: Native support for MCP. Integrate tools provided by MCP servers with one line of code.
• Builtin test framework: Write tests and use judges to ensure your agent is performing as expected.
• Open-source: Fully open-source, allowing you to run the entire stack on your own servers, including LiveKit server, one of the most widely used WebRTC media servers.

Installation

To install the core Agents library, along with plugins for popular model providers: