2akouwu/reverify

재검증

AI가 꾸며낸 이야기를 막으세요.
이 문서는 다음과 같이 제안합니다; 결정론적 도구들은 모든 청구항을 진실과 대조하여 검증된 것만이 중요하다고 합니다.

AI는 자신감이 넘치고 종종 틀립니다: API를 발명하고, 구조체 필드를 만들고, 오프셋을 만들거나, 함수는 그렇게 하며, 사실처럼 말한다. 재검증은 결정론적 도구를 판사로 만들며 모델 주장을 제안하면 도구가 실제 아티팩트와 대조해 확인하고, 검증됨 / 증거로 반박됨. 모델은 스스로 사실을 주장할 기회가 없습니다.

오늘날 이 단체가 하는 두 가지 일은 다음과 같습니다:

• AI를 정직하게 유지함 — 모든 구조적 또는 행동적 주장이 근거와 비교해 검증됩니다 진실은 신뢰받지 않으며, 살아남은 것만이 사실이 된다(reverify verify, 또는 MCP 에이전트가 이미 연락하는 서버입니다).
• *AI의 맥락이 썩지 않도록 방지 — 손실이 있는 자동 요약 대신, reverify rollover 세션을 파일에 넘기고 새 작업을 시작해서 긴 작업이 분산되거나 필요하지 않도록 합니다 /clear. Claude 코드, Codex, Gemini CLI 및 OpenCode로 작동합니다.

첫 번째 점을 증명하기 가장 어려운 곳은 환각이 있는 이진 역설계입니다 최악 — 그래서 숫자가 나온 거야.

Reverify

Stop your AI from making things up. It proposes; deterministic tools check every claim against ground truth, and only what’s verified counts.

AI is confident and often wrong: it invents an API, a struct field, an offset, or what a function does, and says it like fact. Reverify makes a deterministic tool the judge — the model proposes a claim, the tool checks it against the actual artifact, and it comes back VERIFIED / REFUTED with evidence. The model never gets to assert a fact on its own.

Two things it does today:

• Keeps your AI honest — every structural or behavioral claim is checked against ground truth, not trusted, and only what survives becomes a fact (reverify verify, or the MCP server your agent already talks to).
• Keeps your AI’s context from rotting — instead of a lossy auto-summary, reverify rollover hands the session off to a file and starts a fresh one, so long tasks don’t drift or need /clear. Works in Claude Code, Codex, Gemini CLI and OpenCode.

The hardest place to prove the first point is binary reverse engineering, where hallucination is worst — so that’s where the numbers come from. On 71 real Windows system files the AI’s textbook answer was wrong 97% of the time; reverify caught every one and never accepted a wrong claim (0 of 71; the same gate runs in CI on Linux and macOS every push, and an independent aarch64 run found the same) (EXAMPLE.md, BENCHMARK.md; python benchmarks/prologue_prior.py).

The problem

Language models are great at reading code and unreliable at reverse engineering. Ask a