0A

0xsero/ai-data-extraction

Developer tools

Эта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал

1,4 тыс. stars Качество 73 Тренд 38

Извлекайте всю историю личных данных из Cursor, Codex, Claude-Code, Windsurf и TRAE

Обзор

Полный набор инструментов для извлечения ВСЕХ данных о чате, агентах и контексте кода от ассистентов по программированию ИИ для обучения машинному обучению. Автоматически обнаруживает и извлекает, включая: - ✅ Пользовательские сообщения и ответы ИИ - ✅ Контекст кода (пути к файлам, номера строк, фрагменты) - ✅ Различия кода и предлагаемые правки - ✅ Многофайловые контексты - Использование ✅ и результаты исполнения инструментов - Временные ✅ метки и метаданные Выдержки из Claude Code / Claude Desktop - : ~/.claude, ~/.claude-code, ~/.claude-local, ~/.claude-m2, ~/.claude-zai - : JSONL session files - : Сообщения, использование инструментов, контексты файлов, различия Извлечения из Codex (если установлен) - : ~/.codex, ~/.codex-local - : Разворачивание JSONL-файлов - : Сообщения пользователя/агента, результаты инструментов, различия Извлечения из Cursor (Chat + Composer + Agent) - ВСЕ ВЕРСИИ - : ~/Library/Application Support/Cursor (macOS) или эквивалент - : SQLite базы данных (state.vscdb, cursorDiskKV) - : - Старый чат (хранилище в рабочем пространстве) - Встроенное хранилище Composer (v1.

Обзор (машинный перевод)

Полный набор инструментов для извлечения ВСЕХ данных о чате, агентах и контексте кода от ассистентов по программированию ИИ для обучения машинному обучению.

🎯 Что это делает

Автоматически обнаруживает и извлекает полную историю переписки, включая:

  • ✅ Пользовательские сообщения и ответы ИИ
  • ✅ Контекст кода (пути к файлам, номера строк, фрагменты)
  • ✅ Дифференциации кода и предлагаемые правки
  • ✅ Многофайловые контексты
  • ✅ Результаты использования и выполнения инструментов
  • ✅ Временные метки и метаданные

Экспорт сессий Pi и OMP использует один общий парсер. По умолчанию следует за активным ветвь; python3 extract_pi.py --all-branches и python3 extract_omp.py --all-branches экспортировать отдельные листовые диалоги с их идентификаторами происхождения и ветвей. Строка ответы, пользовательский контекст, рассуждения, идентификаторы вызовов инструментов, изменения моделей, советник/субагент сохраняются сводки сессий и ветвей. OMP также поддерживает --prompt-history для отдельного снимка только для чтения SQLite, включая зафиксированные строки WAL.

extract_droid.py читает сессии и настройки Factory/Droid в разделе ~/.factory/sessions. Агрегатный скрипт включает все три. Консолидация парсера несёт Работа Pi/OMP из PR #26, освещение OMP Джошуа Уоррена с #17 и Уманга Бхалла

Эта страница переведена автоматически. Технические детали смотрите в оригинале.

README

Показан фрагмент оригинального README. Открыть оригинал.

AI Coding Assistant Training Data Extraction Toolkit

Complete toolkit to extract ALL chat, agent, and code context data from AI coding assistants for machine learning training.

🎯 What This Does

Automatically discovers and extracts complete conversation history including:

  • ✅ User messages & AI responses
  • ✅ Code context (file paths, line numbers, snippets)
  • ✅ Code diffs and suggested edits
  • ✅ Multi-file contexts
  • ✅ Tool use and execution results
  • ✅ Timestamps and metadata

Pi and OMP session exports use one shared parser. The default follows the active branch; python3 extract_pi.py --all-branches and python3 extract_omp.py --all-branches export separate leaf conversations with their ancestry and branch IDs. String answers, custom context, reasoning, tool-call IDs, model changes, advisor/subagent sessions and branch summaries are preserved. OMP also supports --prompt-history for a separate read-only SQLite snapshot, including committed WAL rows.

extract_droid.py reads Factory/Droid sessions and settings under ~/.factory/sessions. The aggregate script includes all three. The parser consolidation carries the Pi/OMP work from PR #26, Joshua Warren’s OMP coverage from #17 and Umang Bhalla’s Droid contribution from #7, with regression fixes and attribution.

📦 Included Scripts

1. extract_claude_code.py

Extracts from Claude Code / Claude Desktop

  • Searches: ~/.claude, ~/.claude-code, ~/.claude-local, ~/.claude-m2, ~/.claude-zai
  • Formats: JSONL session files
  • Includes: Messages, tool use, file contexts, diffs

2. extract_codex.py

Extracts from Codex (if installed)

  • Searches: ~/.codex, ~/.codex-local
  • Formats: Rollout JSONL files
  • Includes: User/agent messages, tool results, diffs

3. extract_cursor.py

Extracts from Cursor (Chat + Composer + Agent) - ALL VERSIONS

  • Searches: ~/Library/Application Support/Cursor (macOS) or equivalent
  • Formats: SQLite databases (state.vscdb, cursorDiskKV)
  • Handles:
    • Old Chat mode (workspace storage)
    • Composer inline storage (v1.x - messages in composerData array)
    • Composer separate storage (v1.x-v2.0 transition - messages in bubbleId keys)
    • Latest Composer/Agent (v2.0+)
  • Includes:
    • Code context, selections, diffs
    • Suggested edits and code blocks
    • Tool results and execution outputs

4. extract_trae.py

Extracts from Trae

  • Searches: ~/.trae, ~/Library/Application Support/Trae
  • Formats: JSONL and SQLite databases
  • Includes: Chat, agent data, tool use, diffs

5. extract_windsurf.py

Extracts from Windsurf

  • Searches: ~/Library/Application Support/Windsurf or equivalent
  • Formats: SQLite databases (VSCode-like format)
  • Includes: Chat, agent/flow conversations, code context

6. extract_continue.py

Extracts from Continue AI Assistant

  • Searches: ~/.continue/sessions/
  • Formats: JSON session files
  • Includes:
Открыть полный README на GitHub

Рекомендуемые инструменты

Попробуйте другой запрос или уберите фильтр.

Установка

npx skillfish add 0xsero/ai-data-extraction
Новичок в MCP? Начните с руководства на mcpskill.org →