azure-samples/ai-gateway
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
Лаборатории для изучения AI-моделей, MCP-серверов и агентов с помощью AI Gateway, основанного на Azure API Management и Microsoft Foundry 🚀
Обзор
📰 AI Gateway Dev Portal уже запущен — отправная точка для создания собственного портала разработчиков на базе Azure API Management AI Gateway. Форкнуйте, откройте в VS Code с помощью GitHub Copilot (или любого программного агента) и адаптируйте под свои нужды! Создание готовых к производству приложений ИИ требует большего, чем просто вызов API моделей. Вам нужно , , , и —без замедления инноваций. На базе Azure API Management предоставляет: - 🔐 — OAuth 2.0, управляемые идентичности, фильтрация безопасности контента — ⚡ — балансировка нагрузки, семантическое кэширование, маршрутизация запросов — 📊 — метрики токенов, встроенное логирование, трассировка — 💰 — ограничение скорости, управление квотами, фреймворк FinOps — 🔌 поддержка протокола MCP, вызов функций, маршрутизация по мультимоделям Каждая лаборатория — это практический ноутбук Jupyter с пошаговыми инструкциями, шаблонами инфраструктуры Bicep и политиками APIM, которые можно развернуть в подписке Azure. Управление и контроль доступа к Large Language Models с помощью корпоративных политик.
Обзор (машинный перевод)
Изучите корпоративный шлюз для управления моделями, инструментами и агентами ИИ
📰 Новинка! Портал развития AI Gateway теперь активен — отправная точка для создания собственного портала разработчиков на базе Azure API Management AI Gateway. Форкнуйте, откройте в VS Code с помощью GitHub Copilot (или любого программного агента) и сформируйте под свои нужды!
Почему AI Gateway?
Создание готовых к производству приложений ИИ требует большего, чем просто вызов API моделей. Вам нужны безопасность, надёжность, наблюдаемость и контроль затрат — не замедляя инновации.
AI Gateway на базе Azure API Management предоставляет:
- 🔐 Безопасность — OAuth 2.0, управляемые идентичности, фильтрация безопасности контента
- ⚡ Производительность — Балансировка нагрузки, семантическое кэширование, маршрутизация запросов
- 📊 Наблюдаемость — метрики токенов, встроенное логирование, трассировка
- 💰 Контроль затрат — Ограничение тарифов, управление квотами, фреймворк FinOps
- 🔌 Расширяемость — поддержка протокола MCP, вызов функций, многомодельная маршрутизация
📚 Исследуй лаборатории
** 🔗 Просмотрите все 30+ лабораторных данных на aka.ms/ai-gateway/labs**
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
📰 New! The AI Gateway Dev Portal is now live — A starting point for building your own developer portal on top of Azure API Management AI Gateway’s. Fork it, open it in VS Code with GitHub Copilot (or any coding agent), and shape it to fit your needs!
Why AI Gateway?
Building production-ready AI applications requires more than just calling model APIs. You need security, reliability, observability, and cost control—without slowing down innovation.
AI Gateway powered by Azure API Management provides:
- 🔐 Security — OAuth 2.0, managed identities, content safety filtering
- ⚡ Performance — Load balancing, semantic caching, request routing
- 📊 Observability — Token metrics, built-in logging, tracing
- 💰 Cost Control — Rate limiting, quota management, FinOps framework
- 🔌 Extensibility — MCP protocol support, function calling, multi-model routing
📚 Explore the Labs
🔗 Browse all 30+ labs at aka.ms/ai-gateway/labs
Each lab is a hands-on Jupyter notebook with step-by-step instructions, Bicep infrastructure templates, and APIM policies you can deploy to your Azure subscription.
🧠 AI Gateway for Models
Manage and control access to Large Language Models with enterprise-grade policies.
| Lab | Description |
|---|---|
| Backend Pool Load Balancing | Distribute requests across multiple model endpoints |
| Token Rate Limiting | Control token consumption with rate limiting policies |
| Semantic Caching | Cache responses using vector similarity for faster, cheaper completions |
Установка
This server does not publish a one-line install command.
Open the repository installation guide Новичок в MCP? Начните с руководства на mcpskill.org →