westwaters/pollard-weights

Frontier 모델. 작은 하드웨어. 타협 없음

• 하드웨어를 실행할 수 있는 것은 무엇입니까 before 당신은 다운로드 — 그 후에 그것을 적합하기 위하여 측정된 모형을 건설하고, 어떤런타임든지에 그것을 발송합니다.*

Pollard Weights는 대상 장치의 메모리에 내장 된 모델입니다. 비트 폭 차트. 관심, 라우터 및 embeddings 높은 정밀도 유지; 전문가 FFNs는 압축을 나릅니다; 뜨거운 층은 더 많은 비트를 당신이 제작자를 먹일 때 유지합니다 측정 된 라우팅 프로파일 - 전체 빌드는 RAM / VRAM의 크기입니다. 당신은 그것에 점, 작업 예비.

** 어떤 대상, 모든 장치 - 고정 크기 범위가 없습니다. ** target’s에 대해서 예산 (--ram/--vram) 그리고 그것은 적합 ** — 전화 또는 Pi (MB의 금), 16GB Mac Mini, 24GB 5090, 256GB 서버, 512GB 웨이퍼 노드. **하나의 건물 기계, 다른에 배치 ** - 당신이 빌드하는 큰 디스크 상자는 일반적으로 어디에 있지 않습니다 모델이 실행되므로 --ram는 target’s 예산이며, build machine’s (--ram auto) 아래 16GB 예제는 단지 일반적인 데모, 천장이 아닙니다.

** 1 개의 측정 할당, 7 개의 출력 레인 ** - GGUF (llama.cpp/Ollama/LM 스튜디오; trellis ik llama의 주력.

Pollard Weights are models built for a target device’s memory, not for a bit-width chart. Attention, routers and embeddings keep high precision; expert FFNs carry the compression; hot layers keep more bits when you feed the builder a measured routing profile — and the whole build is sized to whatever RAM/VRAM you point it at, minus a working reserve.

Any target, any device — there is no fixed size range. Tell it the target’s budget (--ram/--vram) and it fits that — a phone or a Pi (hundreds of MB), a 16GB Mac Mini, a 24GB 5090, a 256GB server, a 512GB wafer node. Build on one machine, deploy to another — the big-disk box you build on is usually not where the model runs, so --ram is the target’s budget, not the build machine’s (--ram auto only when they’re the same). The 16GB examples below are just a common demo, not a ceiling.

One measured allocation, seven output lanes — GGUF (llama.cpp/Ollama/LM Studio; trellis flagship on ik_llama.cpp), MLX (Apple), GPTQ (vLLM/SGLang), MX (NVFP4 / MXFP4 / FP8 / MXFP6 and measured mixes, Blackwell / Vera Rubin), EXL3 (exllamav3), EXLR8 (one trellis encode, every rung a manifest), and DRAFT (a speculative-decoding drafter matched to the quantized target) — pick the runtime, keep the allocation. Every lane ships the whole model (vision / audio towers included), and every lane lands in one repo per model.

How it works

flowchart LR
    HF["FP16 / BF16model"] -->|"optional: smooth · abliterate(pollard-hf-smooth / -abliterate)"| ALLOC
    ALLOC["Pollard measured allocation(sensitivity → KL knapsack)"] --> GGUF["GGUF · llama.cpp"]
    ALLOC --> GPTQ["GPTQ · vLLM / SGLang"]
    ALLOC --> MLX["MLX · Apple Silicon"]
    ALLOC --> EXL3["EXL3 · exllamav3"]
    ALLOC --> MX["MX · NVFP4 / MXFP4 / FP8 / MXFP6Blackwell / Rubin"]
    ALLOC --> EXLR8["EXLR8 · GR8 / reference decode"]
    ALLOC --> DRAFT["DRAFT · speculative drafterllama.cpp / vLLM / SGLang / MLX"]
    GGUF --> V["pollard-verify(real-reconstruction gate)"]
    GPTQ --> V
    MLX --> V
    EXL3 --> V
    MX --> V