neywa-labs/mlx-vlm

MLX-VLMの特長

アップルシリコンのマルチモーダルモデルの実行と微調整。 テキスト、画像、ビデオ、音声など、 MLX で構築

インストール · ドキュメント · リリース

macOS · アップルシリコン

Nativの背後にあるローカルAI会社であるNeywa Labsが構築しました。

コンテンツの表

• インストール
• 使用法
• コマンドラインインターフェース(CLI)
• 予算を考える
• 分岐解読
• DFlash、DFlash2、DSpark
• ジェムマ4 MTP
• ジェムマ 4 イーグル-3
• ミニマックスM3イーグル-3
• GradioでUIをチャットする
• Pythonスクリプト
• サーバー(FastAPI)
• 連続バッチ
• 自動プレフィックスキャッシュ(APC)
• KVキャッシュの量化
• 1-bit アフィン・インフェレンス
• 活発化の量化(CUDA)
• マルチイメージチャットサポート
• サポートされているモデル
• 使用例
• モデル固有のドキュメント
• ビジョン機能キャッシュ
• TurboQuant KVキャッシュ
• 分散推論
• 微調整

モデル固有のドキュメント

一部のモデルには、プロンプト形式、例、およびベストプラクティスに関する詳細なドキュメントがあります。

| モデル | ドキュメント | お問い合わせ | LFM3 / LFM3-VL | ドキュメント | | LFM3-Audio | ドキュメント | | LFM3-Omni | ドキュメント | | DeepSeek-OCR | ドキュメント | | DeepSeek-OCR-2 | ドキュメント |

MLX-VLM

Run and fine-tune multimodal models on Apple Silicon. Text, images, video, and audio in — any out. Built on MLX.

Installation · Documentation · Releases

macOS · Apple silicon

Built by Neywa Labs, the local AI company behind Nativ.

Table of Contents

• Installation
• Usage
  • Command Line Interface (CLI)
    • Thinking Budget
  • Speculative Decoding
    • DFlash, DFlash2, and DSpark
    • Gemma 4 MTP
    • Gemma 4 EAGLE-3
    • MiniMax M3 EAGLE-3
  • Chat UI with Gradio
  • Python Script
  • Server (FastAPI)
    • Continuous Batching
    • Automatic Prefix Caching (APC)
    • KV Cache Quantization
• 1-bit Affine Inference
• Activation Quantization (CUDA)
• Multi-Image Chat Support
  • Supported Models
  • Usage Examples
• Model-Specific Documentation
• Vision Feature Caching
• TurboQuant KV Cache
• Distributed Inference
• Fine-tuning

Model-Specific Documentation

Some models have detailed documentation with prompt formats, examples, and best practices: