---

Crawler v2: продвинутая и типографическая версия node-crawler

Особенности:

• Серверный DOM и автоматическая вставка jQuery с Cheerio (по умолчанию),
• Настраиваемый размер бассейна и повторные варианты,
• Предел управляющей скорости,
• Очередь приоритетов запросов,
• пусть краулёр занимается за вас обнаружением и преобразованием символов,

Если у вас есть опыт работы с Crawler v1, для быстрой миграции, пожалуйста, перейдите к разделу «Различия и неисправные изменения».

Использование с агентами ИИ

Этот пакет включает навык агента, который обучает агентов ИИ (например, OpenClaw, Hermes, Claude Code, Codex и др.) как работать с помощью crawler — между очередями и прямыми запросами, ограничением скорости, ротацией прокси, парсингом Cheerio и распространёнными ошибками.

Рекомендуется — установка с ClawHub: clawhub.ai/mike442144/node-crawler

Запасной вариант — скачайте набор навыков из последнего релиза и распакайте его в каталоге навыков вашего агента:

Пусть ваш агент установить его — вставьте этот запрос:

---

Crawler v2 : Advanced and Typescript version of node-crawler

Features:

• Server-side DOM & automatic jQuery insertion with Cheerio (default),
• Configurable pool size and retries,
• Control rate limit,
• Priority queue of requests,
• let crawler deal for you with charset detection and conversion,

If you have prior experience with Crawler v1, for fast migration, please proceed to the section Differences and Breaking Changes.

Use with AI agents

This package ships an agent skill that teaches AI agents (e.g. OpenClaw, Hermes, Claude Code, Codex etc) how to crawl with crawler — queue vs. direct requests, rate limiting, proxy rotation, Cheerio parsing, and common pitfalls.

Recommended — install from ClawHub: clawhub.ai/mike442144/node-crawler

openclaw skills install node-crawler

Fallback — download the skill bundle from the latest release and unzip it into your agent’s skills directory:

curl -L -o node-crawler-skill.zip https://github.com/bda-research/node-crawler/releases/latest/download/node-crawler-skill.zip
unzip node-crawler-skill.zip -d .openclaw/skills/

Let your agent install it — paste this prompt:

Install the node-crawler skill so you can use it for large-scale web crawling: download https://github.com/bda-research/node-crawler/releases/latest/download/node-crawler-skill.zip, unzip it, and place the node-crawler/ folder in your skills directory (e.g. .openclaw/skills/, .claude/skills/, or wherever your runtime loads skills from).

The agent loads it automatically when a task involves large-scale scraping or crawling.

Quick start

Install

Requires Node.js 22 or above.

$ npm install crawler