mauriziofonte/toktoken
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
TokToken - это быстрый однобинарный индексатор кодовой базы C для агентов кодирования ИИ. На базе универсальных тегов и SQLite FTS5 он обеспечивает точный поиск символов, отслеживание зависимостей и MCP-сервер.
Обзор
Прямо сейчас, ваш агент по кодированию ИИ. Это пустая трата токенов, денег и контекстного окна. Реальные числа из Redis (727 файлов, 45K символов, индексированные в 0,9): Хорошо весит. Проверьте его в ядре Linux (65K файлов, 7.4M символов) индексы примерно за 170 секунд: Одна команда индексирует кодовую базу. Ваш агент ищет символы, отслеживает импорт и извлекает только необходимый ему код - на каждой операции. Работает с Claude Code, Cursor, Windsurf, Copilot, Gemini, Codex, . Single binary, zero Dependencies, ничего не написано внутри вашего проекта. Скажите своему ИИ-агенту читать документы / LLM.md - он установит и настроит TokToken (почти) автономно. Все остальные, люди, продолжайте читать. - с помощью универсальных тегов + 16 пользовательских парсеров (см. документы / языки).
Обзор (машинный перевод)
Прямо сейчас ваш агент кодирования ИИ читает целые файлы, чтобы найти одну функцию. Это приводит к потере токенов, денег и контекстного окна. TokToken исправляет это.
Реальные числа из Redis (727 файлов, 45K символов, индексированные в 0,9):
Что нужно вашему агенту Без TokToken С TokToken Сбережения
| initServer() в server.c (8141 строка) | 84 193 токена | 2699 токенов | 97% |
| sdslen() в sds.h (340 строк) | 2678 токенов | 132 токена | 95% |
| processCommand() в server.c | 84 193 токена | 4412 токенов | 95% |
| redisCommandProc typedef in server.h (4503 строки) | 56 754 токенов | 50 токенов | 99% |
TokToken хорошо масштабируется. Проверьте его в ядре Linux (65K файлов, 7.4M символов) индексы примерно за 170 секунд:
Что нужно вашему агенту Без TokToken С TokToken Сбережения
| __schedule() в kernel/sched/core.c (10961 строк) | 73 084 токенов | 1335 токенов | 98% |
do_sys_open() в fs/open.c (1583 строк) | 9 915 токенов | 89 токенов | 99% |
kmalloc() в ‘include/linux/slab.
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
README
Показан фрагмент оригинального README. Открыть оригинал.
TokToken (beta release)
Right now, your AI coding agent reads entire files just to find one function. That wastes tokens, money, and context window. TokToken fixes this.
Real numbers from Redis (727 files, 45K symbols, indexed in 0.9s):
| What your agent needs | Without TokToken | With TokToken | Savings |
|---|---|---|---|
initServer() in server.c (8141 lines) |
84,193 tokens | 2,699 tokens | 97% |
sdslen() in sds.h (340 lines) |
2,678 tokens | 132 tokens | 95% |
processCommand() in server.c |
84,193 tokens | 4,412 tokens | 95% |
redisCommandProc typedef in server.h (4503 lines) |
56,754 tokens | 50 tokens | 99% |
TokToken scales well. Check it on the Linux kernel (65K files, 7.4M symbols) indexes in ~170 seconds:
| What your agent needs | Without TokToken | With TokToken | Savings |
|---|---|---|---|
__schedule() in kernel/sched/core.c (10961 lines) |
73,084 tokens | 1,335 tokens | 98% |
do_sys_open() in fs/open.c (1583 lines) |
9,915 tokens | 89 tokens | 99% |
kmalloc() in include/linux/slab.h (1280 lines) |
11,272 tokens | 1,372 tokens | 88% |
ext4_fill_super() in fs/ext4/super.c (7573 lines) |
53,651 tokens | 376 tokens | 99% |
One command indexes your codebase. Your agent searches symbols, traces imports, and retrieves only the code it needs – 88-99% fewer tokens on every operation.
toktoken index:create # index your project (once)
toktoken search:symbols "auth" # find symbols by name
toktoken inspect:symbol # retrieve just the code that matters
Works with Claude Code, Cursor, Windsurf, Copilot, Gemini, Codex, and any MCP-compatible agent. Single binary, zero dependencies, nothing written inside your project.
Quick setup: tell your AI agent to read docs/LLM.md – it will install and configure TokToken (almost) autonomously. For the rest of you, humans, keep reading.
Features
- 49 languages via universal-ctags + 16 custom parsers (see docs/LANGUAGES.md)
- Import graph: cross-file dependency tracking with
find:importers,find:references,find:callers, andinspect:dependencies - FTS5 search with relevance scoring, cascading query strategies, and token-budget-aware result slicing
- Incremental indexing using content hashing – re-indexes only changed files, including single-file reindex
- Dead code detection: find symbols with no callers or importers across the codebase
- Blast radius analysis: trace all files and symbols affected by a change to a given file or symbol
- Circular import detection: identify import cycles in the dependency graph
Установка
This server does not publish a one-line install command.
Open the repository installation guide Новичок в MCP? Начните с руководства на mcpskill.org →Конфигурация
{
"mcpServers": {
"toktoken": {
"command": "toktoken",
"args": ["serve"]
}
}
}