영어 | 中文

TensorSharp는 로컬 GGUF 모델을 위한 .NET 10 추론 엔진입니다. Windows, macOS, Linux에서 CLI, 브라우저 채팅, Ollama/OpenAI 호환 API를 통해 실행하거나 자신의 .NET 애플리케이션에 임베드하세요. 관리형 C# CPU 커널 또는 모델에 따라 지원하는 네이티브 CUDA, Metal, Vulkan 백엔드를 사용하세요.

현재 자료는 텍스트 및 추론, 다중 모달 입력, 임베딩, 이미지 생성/편집, 오디오가 포함된 비디오, 개인 지식 수집, 그리고 코드 도구를 이용한 에이전트 스킬을 포함합니다. 텐서샤프는 또한 아이폰, 아이패드, 맥, 윈도우용 로컬 앱인 텐서에이전트를 구동합니다. 아래에서 시작하거나 프로젝트 상태를 확인하여 기능과 검증 한계를 확인하세요.

하이라이트

• 로컬 모델, 여러 인터페이스. CLI 사용, 브라우저 채팅, Ollama/OpenAI 호환 API를 위한 하나의 엔진이 관리형 CPU 및 네이티브 가속기 백엔드에 걸쳐 제공됩니다.
• 텍스트 및 다중 모달 모델. 밀도 및 MoE GGUF 모델, 추론, 이미지/오디오 입력 및 문서 질문. 각 계열의 기능에 대해서는 지원 모델을 참조하세요.
• 임베딩 및 미디어 생성. EmbeddingGemma 2는 텍스트/코드 임베딩과 선택적 이미지, 오디오, 비디오 입력을 제공합니다.

TensorSharp

English | 中文

TensorSharp is a .NET 10 inference engine for local GGUF models. Run it on Windows, macOS or Linux through the CLI, browser chat, or Ollama/OpenAI-compatible APIs, or embed it in your own .NET application. Use managed C# CPU kernels or native CUDA, Metal and Vulkan backends, with support that varies by model.

Current source covers text and reasoning, multimodal input, embeddings, image generation/editing, video with audio, personal knowledge collections, and Agent Skills with code tools. TensorSharp also powers TensorAgent, the local app for iPhone, iPad, Mac and Windows. Start below, or check the project status for capabilities and validation limits.

Highlights

• Local models, several interfaces. One engine for CLI use, browser chat and Ollama/OpenAI-compatible APIs, across managed CPU and native accelerator backends.
• Text and multimodal models. Dense and MoE GGUF models, reasoning, image/audio input and document questions. See Supported models for each family’s capabilities.
• Embeddings and media generation. EmbeddingGemma 2 provides text/code embeddings and optional image, audio and video inputs. Generate and edit images with Qwen-Image-2.1 and Turbo, or generate video with stereo audio using LTX 2.5 Distilled (48 kHz) and MiniMax-H3 (32 kHz).
• Editable video projects. Video Studio in WebUX Chat and TensorAgent shares a persistent multitrack editor, native generation jobs, reviewed agent proposals, undo/redo and local FFmpeg export. Long videos are made as chains of takes, each starting on the previous segment’s last frame; reference photos keep a character in new shots. See the validation matrix for tested models and platform limits.
• Efficient serving. Continuous batching and a paged, Radix prefix-shared KV cache are on by default. Speculative decoding and multi-GPU placement are available for supported models. See Features.