
0xsero/ai-data-extraction
Developer toolsこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
カーソル、コデックス、クロードコード、ウィンドサーフィン、TRAEからすべての個人データ履歴を抽出してください
概要
機械学習トレーニング用にAIコーディングアシスタントからチャット、エージェント、コードのコンテキストデータを抽出する完全なツールキットです。 以下を自動で発見・抽出します:- ✅ ユーザーメッセージおよびAI応答 - ✅ コードコンテキスト(ファイルパス、行番号、スニペット) - ✅ コードの違いや推奨編集 - ✅ マルチファイルのコンテキスト - ✅ ツールの使用および実行結果 - ✅ タイムスタンプとメタデータ Claude Code / Claude Desktop からのエクストラクト - : ~/.claude-code, ~/.claude-local, ~/.claude-m2, ~/.claude-zai - : JSONL セッションファイル - : メッセージ、ツール使用、ファイルコンテキスト、diff Codexからの抽出(インストールされている場合)- : ~/.codex, ~/.codex-local - : ロールアウトJSONLファイル - : ユーザー/エージェントメッセージ、ツール結果、diff カーソルからの抽出(Chat + Composer + Agent) - 全バージョン - : ~/Library/Application Support/Cursor(macOS)または同等 - : SQLiteデータベース(state.vscdb、cursorDiskKV) - : - 旧チャットモード(ワークスペースストレージ) - Composerインラインストレージ(v1。
概要(AI 翻訳)
機械学習トレーニング用にAIコーディングアシスタントからチャット、エージェント、コードのコンテキストデータを抽出する完全なツールキットです。
🎯 これが何をするのか
自動的に完全な会話履歴を検出・抽出します:
- ✅ ユーザーメッセージおよびAI応答
- ✅ コードコンテキスト(ファイルパス、行番号、スニペット)
- ✅ コードの違いと推奨される編集
- ✅ マルチファイルのコンテキスト
- ✅ 工具の使用および実行結果
- ✅ タイムスタンプとメタデータ
PiとOMPのセッションエクスポートは1つの共有パーサーを使用します。デフォルトはアクティブパーサーに従います
分岐;python3 extract_pi.py --all-branches と python3 extract_omp.py --all-branches
祖先や分家IDを含む別々の葉の会話をエクスポートします。文字列
回答、カスタムコンテキスト、推論、ツール呼び出しID、モデル変更、アドバイザー/サブエージェント
セッションおよびブランチサマリーは保存されます。OMPは--prompt-historyもサポートしています。
コミットされたWAL行を含む別の読み取り専用SQLiteスナップショットのために。
extract_droid.pyは~/.factory/sessionsのファクトリー/ドロイドセッションと設定を読み取っています。
集約スクリプトには3つすべてが含まれます。パーサの統合は
PR #26のPi/OMP作業、#17のジョシュア・ウォーレンのOMPカバレッジ、そしてウマン・バラの
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
README
以下は原文 README の抜粋です。原文を見る。
AI Coding Assistant Training Data Extraction Toolkit
Complete toolkit to extract ALL chat, agent, and code context data from AI coding assistants for machine learning training.
🎯 What This Does
Automatically discovers and extracts complete conversation history including:
- ✅ User messages & AI responses
- ✅ Code context (file paths, line numbers, snippets)
- ✅ Code diffs and suggested edits
- ✅ Multi-file contexts
- ✅ Tool use and execution results
- ✅ Timestamps and metadata
Pi and OMP session exports use one shared parser. The default follows the active
branch; python3 extract_pi.py --all-branches and python3 extract_omp.py --all-branches
export separate leaf conversations with their ancestry and branch IDs. String
answers, custom context, reasoning, tool-call IDs, model changes, advisor/subagent
sessions and branch summaries are preserved. OMP also supports --prompt-history
for a separate read-only SQLite snapshot, including committed WAL rows.
extract_droid.py reads Factory/Droid sessions and settings under ~/.factory/sessions.
The aggregate script includes all three. The parser consolidation carries the
Pi/OMP work from PR #26, Joshua Warren’s OMP coverage from #17 and Umang Bhalla’s
Droid contribution from #7, with regression fixes and attribution.
📦 Included Scripts
1. extract_claude_code.py
Extracts from Claude Code / Claude Desktop
- Searches:
~/.claude,~/.claude-code,~/.claude-local,~/.claude-m2,~/.claude-zai - Formats: JSONL session files
- Includes: Messages, tool use, file contexts, diffs
2. extract_codex.py
Extracts from Codex (if installed)
- Searches:
~/.codex,~/.codex-local - Formats: Rollout JSONL files
- Includes: User/agent messages, tool results, diffs
3. extract_cursor.py
Extracts from Cursor (Chat + Composer + Agent) - ALL VERSIONS
- Searches:
~/Library/Application Support/Cursor(macOS) or equivalent - Formats: SQLite databases (
state.vscdb,cursorDiskKV) - Handles:
- Old Chat mode (workspace storage)
- Composer inline storage (v1.x - messages in composerData array)
- Composer separate storage (v1.x-v2.0 transition - messages in bubbleId keys)
- Latest Composer/Agent (v2.0+)
- Includes:
- Code context, selections, diffs
- Suggested edits and code blocks
- Tool results and execution outputs
4. extract_trae.py
Extracts from Trae
- Searches:
~/.trae,~/Library/Application Support/Trae - Formats: JSONL and SQLite databases
- Includes: Chat, agent data, tool use, diffs
5. extract_windsurf.py
Extracts from Windsurf
- Searches:
~/Library/Application Support/Windsurfor equivalent - Formats: SQLite databases (VSCode-like format)
- Includes: Chat, agent/flow conversations, code context
6. extract_continue.py
Extracts from Continue AI Assistant
- Searches:
~/.continue/sessions/ - Formats: JSON session files
- Includes:
推奨ツール
別のキーワードを試すか、フィルタを外してください。
インストール
npx skillfish add 0xsero/ai-data-extraction