mauriziofonte/toktoken
Developer tools이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요. 원문 보기
TokToken은 AI 코딩 에이전트에 대한 빠르고 단일 보조 C 코드베이스 인덱스입니다. Universal-ctags 및 SQLite FTS5에 의해 구동, 그것은 정확한 기호 검색, 종속 추적 및 MCP 서버를 제공합니다.
개요
지금, 당신의 AI 기호화 대리인. 그것은 토큰, 돈, 및 컨텍스트 창을 낭비. . Redis의 실제 숫자 (727 파일, 45K 기호, 0.9s로 인덱스): 잘 스케일. 리눅스 커널에서 확인 (65K 파일, 7.4M 기호) ~170 초에 인덱스: 하나의 명령은 codebase를 색인합니다. 에이전트 검색 기호, 추적 수입, 및 검색 단지 코드를 필요로 -- 모든 작동. Claude Code, Cursor, Windsurf, Copilot, Gemini, Codex, . 단 하나 바이너리, 영 의존성, 프로젝트 내부에 기록 된 아무것도. docs/LLM.md를 읽는 AI 대리인을 말하십시오 -- 그것은 TokToken (대부분)를 자율적으로 설치하고 구성할 것입니다. 당신을 위해, 인간은, 독서를 지킵니다. - 유니버셜 ctags + 16 맞춤 파서 (docs/LANGUAGES 참조)를 통해.
개요(AI 번역)
지금, AI 코딩 에이전트 ** 한 가지 기능을 찾기 위해 전체 파일을 읽으십시오 **. 그 폐기물 토큰, 돈 및 컨텍스트 창. TokToken이를 수정합니다.
Redis의 실제 숫자 (727 파일, 45K 기호, 0.9s로 인덱스):
| 당신의 에이전트가 필요 | TokToken 없이 | TokToken | Savings |
| --------------------- | ------------ | -------
인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션 인포메이션
| sdslen() in sds.h (340 라인) | 2,678 토큰 | 132 토큰 | 95% |
| processCommand() server.c 인| 84,193개의 토큰 | 4,412개의 토큰 | 95% |
| redisCommandProc server.h] (4503 라인) | 56,754 토큰 | 50 토큰 | 99% |
**TokToken ** 잘 스케일. 리눅스 커널에서 확인 (65K 파일, 7.4M 기호) ~170 초에 인덱스:
| 당신의 에이전트가 필요 | TokToken 없이 | TokToken | Savings |
| --------------------- | ------------ | -------
| __schedule() kernel/sched/core.c (10961 라인) | 73,084 토큰 | 1,335 토큰 | 98% |
| [T10]] fs/open.c (1583 라인) | 9,915 토큰 | 89 토큰 | ** 99 % ** |
| kmalloc()에서 `include/linux/slab.
이 페이지는 AI로 자동 번역되었습니다. 기술적인 세부 사항은 원문을 확인하세요.
README
원문 README의 일부입니다. 원문 보기.
TokToken (beta release)
Right now, your AI coding agent reads entire files just to find one function. That wastes tokens, money, and context window. TokToken fixes this.
Real numbers from Redis (727 files, 45K symbols, indexed in 0.9s):
| What your agent needs | Without TokToken | With TokToken | Savings |
|---|---|---|---|
initServer() in server.c (8141 lines) |
84,193 tokens | 2,699 tokens | 97% |
sdslen() in sds.h (340 lines) |
2,678 tokens | 132 tokens | 95% |
processCommand() in server.c |
84,193 tokens | 4,412 tokens | 95% |
redisCommandProc typedef in server.h (4503 lines) |
56,754 tokens | 50 tokens | 99% |
TokToken scales well. Check it on the Linux kernel (65K files, 7.4M symbols) indexes in ~170 seconds:
| What your agent needs | Without TokToken | With TokToken | Savings |
|---|---|---|---|
__schedule() in kernel/sched/core.c (10961 lines) |
73,084 tokens | 1,335 tokens | 98% |
do_sys_open() in fs/open.c (1583 lines) |
9,915 tokens | 89 tokens | 99% |
kmalloc() in include/linux/slab.h (1280 lines) |
11,272 tokens | 1,372 tokens | 88% |
ext4_fill_super() in fs/ext4/super.c (7573 lines) |
53,651 tokens | 376 tokens | 99% |
One command indexes your codebase. Your agent searches symbols, traces imports, and retrieves only the code it needs – 88-99% fewer tokens on every operation.
toktoken index:create # index your project (once)
toktoken search:symbols "auth" # find symbols by name
toktoken inspect:symbol # retrieve just the code that matters
Works with Claude Code, Cursor, Windsurf, Copilot, Gemini, Codex, and any MCP-compatible agent. Single binary, zero dependencies, nothing written inside your project.
Quick setup: tell your AI agent to read docs/LLM.md – it will install and configure TokToken (almost) autonomously. For the rest of you, humans, keep reading.
Features
- 49 languages via universal-ctags + 16 custom parsers (see docs/LANGUAGES.md)
- Import graph: cross-file dependency tracking with
find:importers,find:references,find:callers, andinspect:dependencies - FTS5 search with relevance scoring, cascading query strategies, and token-budget-aware result slicing
- Incremental indexing using content hashing – re-indexes only changed files, including single-file reindex
- Dead code detection: find symbols with no callers or importers across the codebase
- Blast radius analysis: trace all files and symbols affected by a change to a given file or symbol
- Circular import detection: identify import cycles in the dependency graph
설치
This server does not publish a one-line install command.
Open the repository installation guide MCP 초보자라면? mcpskill.org 가이드부터 시작하세요 →설정
{
"mcpServers": {
"toktoken": {
"command": "toktoken",
"args": ["serve"]
}
}
}