agentgateway/agentgateway

这是智能人工智能的首个完整连接解决方案。

---

Agentgateway 是一个基于 AI 原生协议（MCP 和 A2A）构建的开源代理，能够在任何框架和环境中为代理到大型语言模型、代理到工具和代理之间的通信提供直接上手的安全性、可观察性和治理。

Agentgateway视频介绍

主要特色

• LLM 网关 通过统一的OpenAI兼容API，支持预算和支出控制、提示丰富、负载均衡和故障切换，将流量路由到主要大型语言模型提供商（OpenAI、Anthropic、Gemini、Bedrock等）。

• MCP 网关 通过MCP通过工具联合、stdio/HTTP/SSE/可流式HTTP传输、OpenAPI集成和OAuth认证，将LLM连接到工具和外部数据源。

• A2A网关 通过A2A实现安全的代理间通信，支持能力发现、模态协商和任务协作。

• 推理路由 利用Kubernetes Inference Gateway扩展，智能路由到自托管模型，决策基于GPU利用率、KV缓存、LoRA适配器和队列深度。

• 护栏

---

Agentgateway is an open source proxy built on AI-native protocols (MCP & A2A) that provides drop-in security, observability, and governance for agent-to-LLM, agent-to-tool, and agent-to-agent communication across any framework and environment.

Intro to Agentgateway Video

Key Features

• LLM Gateway Route traffic to major LLM providers (OpenAI, Anthropic, Gemini, Bedrock, and more) through a unified OpenAI-compatible API with budget and spend controls, prompt enrichment, load balancing, and failover.

• MCP Gateway Connect LLMs to tools and external data sources via MCP with tool federation, stdio/HTTP/SSE/Streamable HTTP transports, OpenAPI integration, and OAuth authentication.

• A2A Gateway