av/harbor

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

3,3 тыс. stars Качество 68 Тренд 48Apache-2.0

Перестаньте настраивать свой AI-стек. Начните им пользоваться. Одна команда даёт полный заранее подготовленный стек LLM с сотнями сервисов для изучения.

Обзор

https://github.com/user-attachments/assets/e4897391-c5a8-4391-93c3-9f8b76155f11 Легко настройте свой локальный стек LLM. Harbor — это CLI и сопутствующее приложение, которое позволяет запускать полный локальный стек LLM — бэкенды вроде Ollama, llama.cpp или vLLM, фронтенды вроде Open WebUI, а также поддерживающие сервисы вроде SearXNG для веб-поиска, Speaches для голосового чата и ComfyUI для генерации изображений — всё это заранее подключено для совместной работы с одной командой harbor up. Без ручной настройки: просто выбирайте нужные сервисы, а Harbor занимается оркестрацией, конфигурацией и межсервисной связью Docker Compose, чтобы вы могли сосредоточиться на реальном использовании моделей. - - Шесть новых сервисов — Text Embeddings Inference, LightRAG, Paperless-ngx, Paperless-GPT, Whishper и Linkwarden — с интеграциями Ollama, llama.cpp, Open WebUI, LibreChat, AnythingLLM и Traefik - - Файлы рабочего пространства теперь остаются владельцем вашего хоста через 20+ сервисов, новый бэкенд Speech-to-Speech (s2s), Dify 1.

Обзор (машинный перевод)

https://github.com/user-attachments/assets/e4897391-c5a8-4391-93c3-9f8b76155f11

Легко настройте свой локальный стек LLM.

Harbor — это CLI и сопутствующее приложение, которое позволяет запускать полный локальный стек LLM — бэкенды вроде Ollama, llama.cpp или vLLM, фронтенды вроде Open WebUI, а также поддерживающие сервисы вроде SearXNG для веб-поиска, Speaches для голосового чата и ComfyUI для генерации изображений — всё это заранее подключено для совместной работы с помощью одной команды harbor up. Без ручной настройки: просто выбирайте нужные сервисы, а Harbor занимается оркестрацией, конфигурацией и межсервисной связью Docker Compose, чтобы вы могли сосредоточиться на реальном использовании моделей.

Новости

v0.5.16 - Два новых сервиса: поиск, локальный мультимодальный семантический поиск по файлам с помощью EmbeddingGemma 2 на CPU, NVIDIA или AMD, а также оценки агентов Harbor Framework под дескриптом harbor
**v0.5.

Эта страница переведена автоматически. Технические детали смотрите в оригинале.