livekit/agents

JS/TS 라이브러리를 찾고 계신가요? AgentsJS를 확인해 보세요

에이전트란 무엇인가?

에이전트 프레임워크는 실시간으로 프로그래밍 가능한 참여자를 구축하도록 설계되었습니다 서버에서 실행되는 것들입니다. 대화형, 다중 모달 음성을 만드는 데 사용하세요 보고, 듣고, 이해할 수 있는 요원들.

특징

• 유연한 통합: 귀하의 사용 사례에 맞는 STT, LLM, TTS, 실시간 API를 혼합 조합할 수 있는 포괄적인 생태계입니다.
• 통합 작업 스케줄링: 최종 사용자를 에이전트와 연결하는 디스패치 API를 통한 내장 작업 스케줄링 및 배포.
• 광범위한 WebRTC 클라이언트: LiveKit의 오픈 소스 SDK 생태계를 사용하여 모든 주요 플랫폼을 지원하는 클라이언트 애플리케이션을 구축합니다.
• 전화 통합: LiveKit의 전화 스택과 원활하게 작동하여 상담원이 전화를 걸거나 전화를 받을 수 있습니다.
• 클라이언트와 데이터 교환: RPC 및 기타 데이터 API를 사용하여 클라이언트와 원활하게 데이터를 교환하세요.
• 의미론적 턴 감지: 트랜스포머 모델을 사용해 사용자가 턴을 마쳤는지 감지하여 방해를 줄이는 데 도움을 줍니다.
• MCP 지원: MCP에 대한 네이티브 지원. MCP 서버에서 제공하는 도구를 한 줄의 코드로 통합합니다.

Looking for the JS/TS library? Check out AgentsJS

What is Agents?

The Agent Framework is designed for building realtime, programmable participants that run on servers. Use it to create conversational, multi-modal voice agents that can see, hear, and understand.

Features

• Flexible integrations: A comprehensive ecosystem to mix and match the right STT, LLM, TTS, and Realtime API to suit your use case.
• Integrated job scheduling: Built-in task scheduling and distribution with dispatch APIs to connect end users to agents.
• Extensive WebRTC clients: Build client applications using LiveKit’s open-source SDK ecosystem, supporting all major platforms.
• Telephony integration: Works seamlessly with LiveKit’s telephony stack, allowing your agent to make calls to or receive calls from phones.
• Exchange data with clients: Use RPCs and other Data APIs to seamlessly exchange data with clients.
• Semantic turn detection: Uses a transformer model to detect when a user is done with their turn, helps to reduce interruptions.
• MCP support: Native support for MCP. Integrate tools provided by MCP servers with one line of code.
• Builtin test framework: Write tests and use judges to ensure your agent is performing as expected.
• Open-source: Fully open-source, allowing you to run the entire stack on your own servers, including LiveKit server, one of the most widely used WebRTC media servers.

Installation

To install the core Agents library, along with plugins for popular model providers: