S3、GCS、Azureのファイルをバージョン管理されたタイプ付きデータセットに変換し、ウェアハウス速度でクエリ可能なPythonライブラリ。

• Compute Engine:ファイル上で並列処理されるPython、Studio上で配布。非同期I/O、チェックポイントリカバリー、インクリメンタルアップデート。
• Dataset DB:ピダンティックスキーマ、バージョン管理、ファイルポインタ、自動系譜管理。数秒未満のフィルター、結合、group_by数百万件のタイピングレコードをローカルで処理し、Studioでは数億件。同じ行でのベクター検索、別個のストアなし。

エージェントのワークフローには任意:

• ナレッジベース:Dataset DBから派生し、LLMによって強化されたマークダウン要約。人間もLLMも閲覧可能です。
• エージェントハーネス:Claude Code、Cursor、Codex、GitHub Copilot、Pi の3つすべてを連携させ、データを理解させるスキルです。Studioでは、エージェントはMCP経由で同じデータセットにアクセスします。

バイトはストレージから出ることはありません。毎回実行すると、次のパイプライン(またはエージェント)が再計算する代わりに、型付きデータセットが読み取られます。

1.設置

エージェントスキル(知識ベース+コード生成)を追加すると:

S3、GCS、Azure、ローカルファイルシステムで動作します。

2.クイックスタート:エージェント駆動のパイプライン

DataChain: The Context Layer for Unstructured Data

A Python library that turns files in S3, GCS, and Azure into versioned, typed datasets, queryable at warehouse speed.

• Compute Engine: parallel Python over files, distributed on Studio. Async I/O, checkpoint recovery, incremental updates.
• Dataset DB: Pydantic schemas, versioning, file pointers, automatic lineage. Sub-second filter, join, and group_by over millions of typed records locally, hundreds of millions on Studio. Vector search over the same rows, no separate store.

Optional, for agent workflows:

• Knowledge Base: markdown summaries derived from the Dataset DB and enriched by LLM. Readable by humans and LLMs.
• Agent Harness: a skill that plugs all three into Claude Code, Cursor, Codex, GitHub Copilot, and Pi, so they understand your data. On Studio, agents reach the same datasets over MCP.

Bytes never leave your storage. Every run deposits a typed dataset the next pipeline (or agent) reads instead of recomputing.

1. Install

pip install datachain

To add the agent skill (Knowledge Base + code generation):

datachain skill install --target claude     # also: cursor, codex, copilot, pi

Works with S3, GCS, Azure, and local filesystems.

2. Quickstart: agent-driven pipeline

Task: find dogs in S3 similar to a reference image, filtered by breed, mask availability, and image dimensions.

Grab a reference image and run Claude Code (or other agent):

datachain cp --anon s3://dc-readme/fiona.jpg .

claude

Prompt:

Find dogs in s3://dc-readme/oxford-pets-micro/ similar to ./fiona.jpg:
  - Pull breed metadata and mask files from annotations/
  - Exclude images without mask
  - Exclude Cocker Spaniels
  - Only include images wider than 400px

Result:

  ┌──────┬───────────────────────────────────┬────────────────────────────┬──────────┐
  │ Rank │               Image               │           Breed            │ Distance │
  ├──────┼───────────────────────────────────┼────────────────────────────┼──────────┤
  │    1 │ shiba_inu_52.jpg                  │ shiba_inu                  │    0.244 │
  ├──────┼───────────────────────────────────┼────────────────────────────┼──────────┤
  │    2 │ shiba_inu_53.jpg                  │ shiba_inu                  │    0.323 │