azure-samples/ai-gateway

AI 모델, 도구 및 에이전트 관리를 위한 엔터프라이즈급 게이트웨이를 탐색해 보세요

📰 새로워! AI 게이트웨이 개발 포털이 이제 공개되었습니다 — Azure API Management AI 게이트웨이 위에 자신만의 개발자 포털을 구축하는 출발점입니다. 포크해서 GitHub Copilot(또는 다른 코딩 에이전트)로 VS Code로 열고, 필요에 맞게 맞춤화하세요!

왜 AI 게이트웨이인가?

운영 환경에 적합한 AI 애플리케이션을 구축하려면 단순히 모델 API를 호출하는 것 이상이 필요합니다. 혁신을 늦추지 않으면서도 보안, 신뢰성, 관측성, 비용 통제가 필요합니다.

Azure API Management가 제공하는 AI 게이트웨이는 다음을 제공합니다:

• 🔐 보안 — OAuth 2.0, 관리형 신원, 콘텐츠 안전 필터링
• ⚡ 성능 — 부하 분산, 의미 캐싱, 요청 라우팅
• 📊 관찰 가능성 — 토큰 지표, 내장 로그, 추적
• 💰 비용 통제 — 속도 제한, 할당량 관리, FinOps 프레임워크
• 🔌 확장성 — MCP 프로토콜 지원, 함수 호출, 다중 모델 라우팅

📚 연구소 탐험

** 🔗 aka.ms/ai-gateway/labs 에서 30+ 실험실 모두 둘러보세요**

📰 New! The AI Gateway Dev Portal is now live — A starting point for building your own developer portal on top of Azure API Management AI Gateway’s. Fork it, open it in VS Code with GitHub Copilot (or any coding agent), and shape it to fit your needs!

Why AI Gateway?

Building production-ready AI applications requires more than just calling model APIs. You need security, reliability, observability, and cost control—without slowing down innovation.

AI Gateway powered by Azure API Management provides:

• 🔐 Security — OAuth 2.0, managed identities, content safety filtering
• ⚡ Performance — Load balancing, semantic caching, request routing
• 📊 Observability — Token metrics, built-in logging, tracing
• 💰 Cost Control — Rate limiting, quota management, FinOps framework
• 🔌 Extensibility — MCP protocol support, function calling, multi-model routing

📚 Explore the Labs

🔗 Browse all 30+ labs at aka.ms/ai-gateway/labs

Each lab is a hands-on Jupyter notebook with step-by-step instructions, Bicep infrastructure templates, and APIM policies you can deploy to your Azure subscription.

🧠 AI Gateway for Models

Manage and control access to Large Language Models with enterprise-grade policies.