Английский | 中文

TensorSharp — это движок инференции .NET 10 для локальных моделей GGUF. Запускайте его на Windows, macOS или Linux через CLI, чат браузера или совместимые с Ollama/OpenAI API, либо встраивайте в собственное .NET-приложение. Используйте управляемые ядра C# CPU или нативные CUDA, Metal и Vulkan бэкенды, с поддержкой, которая зависит от модели.

Текущий исходный код охватывает текст и рассуждение, мультимодальный ввод, встраивания, генерацию/редактирование изображений, видео с аудио, коллекции личных знаний и навыки агентов с помощью инструментов кода. TensorSharp также поддерживает TensorAgent — локальное приложение для iPhone, iPad, Mac и Windows. Начните ниже или проверьте статус проекта на возможности и ограничения валидации.

Основные моменты

• Локальные модели, несколько интерфейсов. Один движок для CLI, чата браузера и совместимых с Ollama/OpenAI API, между управляемыми процессорами и нативными ускорительными серверами.
• Текстовые и мультимодальные модели. Плотные и MoE GGUF-модели, рассуждение, ввод изображений/аудио и вопросы по документам. См. Поддерживаемые модели для возможностей каждой семьи.
• Эмбеддинги и генерация медиа. EmbeddingGemma 2 предоставляет текстовые и кодовые вложения и опциональные входы изображений, аудио и видео.

TensorSharp

English | 中文

TensorSharp is a .NET 10 inference engine for local GGUF models. Run it on Windows, macOS or Linux through the CLI, browser chat, or Ollama/OpenAI-compatible APIs, or embed it in your own .NET application. Use managed C# CPU kernels or native CUDA, Metal and Vulkan backends, with support that varies by model.

Current source covers text and reasoning, multimodal input, embeddings, image generation/editing, video with audio, personal knowledge collections, and Agent Skills with code tools. TensorSharp also powers TensorAgent, the local app for iPhone, iPad, Mac and Windows. Start below, or check the project status for capabilities and validation limits.

Highlights

• Local models, several interfaces. One engine for CLI use, browser chat and Ollama/OpenAI-compatible APIs, across managed CPU and native accelerator backends.
• Text and multimodal models. Dense and MoE GGUF models, reasoning, image/audio input and document questions. See Supported models for each family’s capabilities.
• Embeddings and media generation. EmbeddingGemma 2 provides text/code embeddings and optional image, audio and video inputs. Generate and edit images with Qwen-Image-2.1 and Turbo, or generate video with stereo audio using LTX 2.5 Distilled (48 kHz) and MiniMax-H3 (32 kHz).
• Editable video projects. Video Studio in WebUX Chat and TensorAgent shares a persistent multitrack editor, native generation jobs, reviewed agent proposals, undo/redo and local FFmpeg export. Long videos are made as chains of takes, each starting on the previous segment’s last frame; reference photos keep a character in new shots. See the validation matrix for tested models and platform limits.
• Efficient serving. Continuous batching and a paged, Radix prefix-shared KV cache are on by default. Speculative decoding and multi-GPU placement are available for supported models. See Features.