westwaters/pollard-weights

###フロンティアモデル。 小さいハードウェア。 妥協しない。

※ハードウェアがダウンロードする「before」を実行すると、それに合わせて測定したモデルを構築し、任意のランタイムに出荷することができます。*

Pollard 重量はターゲット デバイスのメモリのために造られるモデルで、 ビット幅チャート 注意、ルーターおよび埋め込むことは高精度を維持します;専門家 FFNsは圧縮を運びます; ビルダーをフィードするとき、熱層はより多くのビットを保ちます 測定ルーティングプロファイル — 全ビルドは、任意のRAM / VRAMにサイズされます それを指摘し、作業準備をマイナスします。

任意のターゲット、任意のデバイス - 固定サイズ範囲はありません。 target’s をお伝えください。 予算([--ram)/[--vram]])、およびそれは** - 携帯電話またはPi(MBの金)、 16GBのMac Mini、24GB 5090、256GBサーバー、512GBのウェーハノード。 1つの建物 マシンは、別のに展開します。ビルドする大きなディスクボックスは、通常はどこにいない モデルが実行されるので、[--ramはビルドマシンではなく、target’s予算です ([--ram auto]) 同じ時のみ。 16GB以下の例は、 一般的なデモ、天井ではなく。

1つの測定位置、7つの出力車 — GGUF (llama.cpp/Ollama/LM) スタジオ; トレリス ik llama のフラグシップ.

Pollard Weights are models built for a target device’s memory, not for a bit-width chart. Attention, routers and embeddings keep high precision; expert FFNs carry the compression; hot layers keep more bits when you feed the builder a measured routing profile — and the whole build is sized to whatever RAM/VRAM you point it at, minus a working reserve.

Any target, any device — there is no fixed size range. Tell it the target’s budget (--ram/--vram) and it fits that — a phone or a Pi (hundreds of MB), a 16GB Mac Mini, a 24GB 5090, a 256GB server, a 512GB wafer node. Build on one machine, deploy to another — the big-disk box you build on is usually not where the model runs, so --ram is the target’s budget, not the build machine’s (--ram auto only when they’re the same). The 16GB examples below are just a common demo, not a ceiling.

One measured allocation, seven output lanes — GGUF (llama.cpp/Ollama/LM Studio; trellis flagship on ik_llama.cpp), MLX (Apple), GPTQ (vLLM/SGLang), MX (NVFP4 / MXFP4 / FP8 / MXFP6 and measured mixes, Blackwell / Vera Rubin), EXL3 (exllamav3), EXLR8 (one trellis encode, every rung a manifest), and DRAFT (a speculative-decoding drafter matched to the quantized target) — pick the runtime, keep the allocation. Every lane ships the whole model (vision / audio towers included), and every lane lands in one repo per model.

How it works

flowchart LR
    HF["FP16 / BF16model"] -->|"optional: smooth · abliterate(pollard-hf-smooth / -abliterate)"| ALLOC
    ALLOC["Pollard measured allocation(sensitivity → KL knapsack)"] --> GGUF["GGUF · llama.cpp"]
    ALLOC --> GPTQ["GPTQ · vLLM / SGLang"]
    ALLOC --> MLX["MLX · Apple Silicon"]
    ALLOC --> EXL3["EXL3 · exllamav3"]
    ALLOC --> MX["MX · NVFP4 / MXFP4 / FP8 / MXFP6Blackwell / Rubin"]
    ALLOC --> EXLR8["EXLR8 · GR8 / reference decode"]
    ALLOC --> DRAFT["DRAFT · speculative drafterllama.cpp / vLLM / SGLang / MLX"]
    GGUF --> V["pollard-verify(real-reconstruction gate)"]
    GPTQ --> V
    MLX --> V
    EXL3 --> V
    MX --> V