---

크롤러 v2 : 노드 크롤러의 고급 및 Typescript 버전

특징:

• 서버사이드 DOM 및 Cheerio(기본값)를 이용한 자동 jQuery 삽입,
• 구성 가능한 풀 크기 및 재시도,
• 제어 속도 한도,
• 요청의 우선순위 큐,
• 크롤러가 문자 집합 감지 및 변환을 대신 처리하도록 맡기고,

Crawler v1 사용 경험이 있으신 분들은 빠른 마이그레이션을 위해 ‘차이점 및 변경 사항’ 섹션으로 진행해 주세요.

AI 에이전트와의 사용

이 패키지는 에이전트 스킬을 제공하는데, 이 스킬은 AI 에이전트(예: OpenClaw, Hermes, Claude Code, Codex 등)에게 crawler로 크롤하는 법을 가르칩니다 — 대기열과 직접 요청, 속도 제한, 프록시 회전, Cheerio 파싱, 그리고 흔한 함정 등.

권장 — ClawHub에서 설치: clawhub.ai/mike442144/node-crawler

Fallback — 최신 릴리스에서 스킬 번들을 다운로드 후 에이전트의 기술 디렉토리에 압축 해제하세요:

에이전트가 설치하도록 맡기세요 — 이 프롬프트를 붙여넣으세요:

---

Crawler v2 : Advanced and Typescript version of node-crawler

Features:

• Server-side DOM & automatic jQuery insertion with Cheerio (default),
• Configurable pool size and retries,
• Control rate limit,
• Priority queue of requests,
• let crawler deal for you with charset detection and conversion,

If you have prior experience with Crawler v1, for fast migration, please proceed to the section Differences and Breaking Changes.

Use with AI agents

This package ships an agent skill that teaches AI agents (e.g. OpenClaw, Hermes, Claude Code, Codex etc) how to crawl with crawler — queue vs. direct requests, rate limiting, proxy rotation, Cheerio parsing, and common pitfalls.

Recommended — install from ClawHub: clawhub.ai/mike442144/node-crawler

openclaw skills install node-crawler

Fallback — download the skill bundle from the latest release and unzip it into your agent’s skills directory:

curl -L -o node-crawler-skill.zip https://github.com/bda-research/node-crawler/releases/latest/download/node-crawler-skill.zip
unzip node-crawler-skill.zip -d .openclaw/skills/

Let your agent install it — paste this prompt:

Install the node-crawler skill so you can use it for large-scale web crawling: download https://github.com/bda-research/node-crawler/releases/latest/download/node-crawler-skill.zip, unzip it, and place the node-crawler/ folder in your skills directory (e.g. .openclaw/skills/, .claude/skills/, or wherever your runtime loads skills from).

The agent loads it automatically when a task involves large-scale scraping or crawling.

Quick start

Install

Requires Node.js 22 or above.

$ npm install crawler