alessandrobenigni/bm25-turbo-rust-python-wasm-cli

BM25ターボ ⚡ Rust・Python・WASM・CLI 最速BM25スコアリングエンジン。 期間。

お問い合わせ

28,217 クエリ/秒 に 8.8 百万 ドキュメント。8.6ms P50 レイテンシ。 BMW の剪定、記憶マッピングされた永続性およびゼロ コピーの索引のローディングと前計算された sparse BM25。 RAG パイプライン、検索アプリケーション、および ML ワークフロー用に構築されました。

#BM25ターボなぜ?

ほとんどの BM25 ライブラリはクエリ時にスコアを計算します。すべてのリクエストでインデックスをスキャンします。 BM25ターボは反対のアプローチをとります:圧縮されたスペールのコラム(CSC)の行列にインデックス時間ですべてのBM25のスコアをプリコンプトして下さい。 キューリーは、サービングタイムで数学なしでスパースベクトルルックアップになります。

これにより、BM25ターボは正しい選択をするときにします。

• 同じインデックスを何度も入力** (RAG、リランク、バッチ評価) -**(MLパイプライン、実験)
• 一番シンプルな API** (インデックスへの3行、1行のクエリ) -search機能を構築して、完全な検索サーバーを必要としません

パフォーマンス

MS MARCOにベンチマーク (8,841,823 文書, 509,962 クエリ) — 標準情報検索ベンチマーク。 BMWの剪定を有効にしました。 シングルスレッド。

クエリスループット

BM25 Turbo ⚡ Rust · Python · WASM · CLI The fastest BM25 scoring engine. Period.

---

28,217 queries/second on 8.8 million documents. 8.6ms P50 latency. Precomputed sparse BM25 with BMW pruning, memory-mapped persistence, and zero-copy index loading. Built for RAG pipelines, search applications, and ML workflows.

use bm25_turbo::{BM25Builder, Method};

let index = BM25Builder::new()
    .method(Method::Lucene)       // Robertson, Lucene, ATIRE, BM25L, BM25+
    .k1(1.5).b(0.75)
    .build_from_corpus(&[
        "Rust is a systems programming language",
        "BM25 is a ranking function used in information retrieval",
        "Machine learning models benefit from fast retrieval",
    ])?;

let results = index.search("information retrieval", 10)?;
for (id, score) in results.doc_ids.iter().zip(results.scores.iter()) {
    println!("doc {} → {:.4}", id, score);
}

Why BM25 Turbo?

Most BM25 libraries compute scores at query time — scanning inverted indexes on every request. BM25 Turbo takes the opposite approach: precompute every BM25 score at index time into a compressed sparse column (CSC) matrix. Queries become sparse vector lookups with no math at serving time.

This makes BM25 Turbo the right choice when:

• You query the same index many times (RAG, reranking, batch evaluation)
• You need deterministic, reproducible scores (ML pipelines, experiments)
• You want the simplest possible API (3 lines to index, 1 line to query)
• You’re building a search feature and don’t need a full search server

Performance

Benchmarked on MS MARCO (8,841,823 documents, 509,962 queries) — the standard information retrieval benchmark. BMW pruning enabled. Single-threaded.

Query Throughput

Query Latency

Scaling Across Corpus Sizes