S3, GCS, Azure 파일을 버전 지정 타입 데이터셋으로 변환하여 웨어하우스 속도로 쿼리 가능한 파이썬 라이브러리입니다.

• 컴퓨트 엔진: 파일을 통한 병렬 파이썬, Studio에 배포됨. 비동기 입출력, 체크포인트 복구, 점진적 업데이트.
• 데이터셋 DB: 피단틱 스키마, 버전 관리, 파일 포인터, 자동 계보. 수백만 개의 타이핑 레코드를 로컬에서 1초 미만으로 필터링, 조인, group_by, Studio에서는 수억 건을 처리합니다. 동일한 행에 대한 벡터 검색, 별도의 저장소 없음.

에이전트 워크플로우에 선택 사항:

• 지식 기반: 데이터셋 DB에서 파생되어 LLM으로 보완된 마크다운 요약. 사람과 LLM이 모두 읽을 수 있습니다.
• 에이전트 하네스: Claude Code, Cursor, Codex, GitHub Copilot, Pi에 세 가지를 모두 연결해 데이터를 이해하도록 하는 스킬입니다. Studio에서는 에이전트가 MCP를 통해 동일한 데이터셋에 접근합니다.

바이트는 절대 저장소를 떠나지 않습니다. 매번 실행할 때마다 타입이 지정된 데이터셋이 저장되고, 다음 파이프라인(또는 에이전트)이 다시 계산하는 대신 읽습니다.

1. 설치

에이전트 스킬(지식 베이스 + 코드 생성)을 추가하자면:

S3, GCS, Azure, 로컬 파일 시스템에서 작동합니다.

2. 퀵스타트: 에이전트 기반 파이프라인

DataChain: The Context Layer for Unstructured Data

A Python library that turns files in S3, GCS, and Azure into versioned, typed datasets, queryable at warehouse speed.

• Compute Engine: parallel Python over files, distributed on Studio. Async I/O, checkpoint recovery, incremental updates.
• Dataset DB: Pydantic schemas, versioning, file pointers, automatic lineage. Sub-second filter, join, and group_by over millions of typed records locally, hundreds of millions on Studio. Vector search over the same rows, no separate store.

Optional, for agent workflows:

• Knowledge Base: markdown summaries derived from the Dataset DB and enriched by LLM. Readable by humans and LLMs.
• Agent Harness: a skill that plugs all three into Claude Code, Cursor, Codex, GitHub Copilot, and Pi, so they understand your data. On Studio, agents reach the same datasets over MCP.

Bytes never leave your storage. Every run deposits a typed dataset the next pipeline (or agent) reads instead of recomputing.

1. Install

pip install datachain

To add the agent skill (Knowledge Base + code generation):

datachain skill install --target claude     # also: cursor, codex, copilot, pi

Works with S3, GCS, Azure, and local filesystems.

2. Quickstart: agent-driven pipeline

Task: find dogs in S3 similar to a reference image, filtered by breed, mask availability, and image dimensions.

Grab a reference image and run Claude Code (or other agent):

datachain cp --anon s3://dc-readme/fiona.jpg .

claude

Prompt:

Find dogs in s3://dc-readme/oxford-pets-micro/ similar to ./fiona.jpg:
  - Pull breed metadata and mask files from annotations/
  - Exclude images without mask
  - Exclude Cocker Spaniels
  - Only include images wider than 400px

Result:

  ┌──────┬───────────────────────────────────┬────────────────────────────┬──────────┐
  │ Rank │               Image               │           Breed            │ Distance │
  ├──────┼───────────────────────────────────┼────────────────────────────┼──────────┤
  │    1 │ shiba_inu_52.jpg                  │ shiba_inu                  │    0.244 │
  ├──────┼───────────────────────────────────┼────────────────────────────┼──────────┤
  │    2 │ shiba_inu_53.jpg                  │ shiba_inu                  │    0.323 │