ai-dynamo/dynamo
Deployment & DevOps이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
데이터센터 규모의 분산 추론 서빙 프레임워크
개요
다이너모는 추론 엔진 위에 위치한 오케스트레이션 계층으로, SGLang, TensorRT-LLM, vLLM을 대체하지 않고 이들을 조정된 다중 노드 추론 시스템으로 전환합니다. 분산 서빙, 지능형 라우팅, 다중 계층 KV 캐싱, 자동 스케일링이 함께 작용하여 LLM, 추론, 멀티모달, 비디오 생성 작업 부하에서 처리량을 극대화하고 지연 시간을 최소화합니다. 성능은 Rust, 확장성은 Python으로 내장했습니다. 이벤트는 자동으로 업데이트됩니다. 공개 캘린더를 구독하세요. - LLM을 여러 곳에 서비스하며 이를 조정해야 합니다 - 중복된 프리필러 계산을 피하고 싶습니다 - (분산된 서비스) - 최소 총 소유 비용(TCO)으로 지연 SLA를 충족해야 합니다 - 새로운 복제본을 구축할 때 필요합니다 단일 모델만 GPU에서 구동한다면, 추론 엔진만으로도 충분할 것입니다. — LoRA, 요청 마이그레이션, 추측 디코딩, 기능 상호작용.
개요(AI 번역)
| 문서 | 로드맵 | 레시피 | 예시 | 용기 | 다이제스트 | 디자인 제안서 | 기여 방법 | 느슨 |
영어 | 简体中文
다이너모
오픈소스 데이터센터 규모의 추론 스택. 다이너모는 추론 엔진 위의 오케스트레이션 계층으로, SGLang, TensorRT-LLM, vLLM을 대체하지 않고, 이들을 조정된 다중 노드 추론 시스템으로 전환합니다. 분산된 서빙, 지능형 라우팅, 다계층 KV 캐싱, 자동 확장이 함께 작용하여 LLM, 추론, 멀티모달, 비디오 생성 작업 시 처리량을 극대화하고 지연 시간을 최소화합니다.
성능은 Rust, 확장성은 Python으로 내장했습니다.
지역 행사
| 날짜 | 사건 | 위치 |
|---|---|---|
| 2026년 10월 15일 목요일 | 샌프란시스코 | |
| 2026년 10월 13일 화요일 | – |
이벤트는 자동으로 업데이트됩니다. 공개 캘린더를 구독하세요.
다이너모를 언제 써야 하는지.
- 여러 GPU나 노드에 걸쳐 LLM을 제공해야 하며, 이를 조정해야 합니다
- 중복 프리필 계산을 피하기 위해 KV 인식 라우팅을 원한다
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
GitHub에서 전체 README 보기
추천 도구
다른 키워드를 입력하거나 필터를 제거해 보세요.
설치
npx skillfish add ai-dynamo/dynamo