Octocrawl：可读的Markdown和公开网页的检查字段，用于AI代理、RAG和研究。失败有原因。用REST、SDK或MCP自托管。
概览
一个链接。网页数据，准备好了。针对AI代理和RAG的Markdown和网页数据。每个结果都记录了读取方式。每一次失败都说明了原因。 网站 ·文档 ·Connect MCP ·博客 ·更新日志 Octocrawl 是一款面向 AI 代理、RAG 和研究的开源网页爬虫和爬取工具包。收集知识库文档，提取产品细节进行比较，或将网页表格和列表转化为分析数据。每个页面都附带一个源记录。 试试浏览器中的页面，或者通过托管的MCP或REST API连接你的代理。尝试托管服务不需要安装或API密钥。 托管的 Octocrawl 提供;无密钥请求使用 HTTP，账户密钥启用浏览器通道。本地运行以实现爬取、批处理、页面操作和监视器;有关设置和自托管选项，请参见运行 Octocrawl。网页预览为单页试用，每天有五页，最多可有 20 个命名字段。
概述（AI 翻译）
八爪爬行
一个链接。网络数据，准备就绪。 针对AI代理和RAG的网页数据和Markdown。 比原始HTML少的代币。每个结果都记录了读取方式。
网站 · 文档 · 连接MCP · 博客 · 更新日志
抓取页面。爬取网站。将网页内容转化为可用数据。
Octocrawl 是一款面向 AI 代理、RAG 和研究的开源网页爬虫和爬取工具包。收集知识库文档，提取产品细节进行比较，或将网页表格和列表转化为分析数据。每个页面都附带一个源记录。
试试浏览器中的页面，或者通过托管的MCP或REST API连接你的代理。尝试托管服务不需要安装或API密钥。
你能用八爪爬行做什么？
| 能力 | 你能得到什么 |
|---|---|
| 抓取页面 | 可读的Markdown用于LLM上下文，以及HTML、链接、图片URL和页面元数据。在浏览器通道请求截图。 |
| 绘制网站地图 | 从网站地图和页面链接中查找URL，并用搜索词筛选，找到你需要的页面。 |
本页由 AI 翻译，技术细节请以原文为准。
README
以下为原文 README 节选，完整内容请查看原文。
Octocrawl
One link. Web data, ready. Markdown and data from web pages, for AI agents and RAG. Fewer tokens than raw HTML. Every result records how it was read.
Website · Docs · Connect MCP · Blog · Changelog
Scrape pages. Crawl websites. Turn web content into usable data.
Octocrawl is an open-source web scraping and crawling toolkit for AI agents, RAG and research. Collect documentation for a knowledge base, extract product details for comparison, or turn web tables and listings into data for analysis. Each page comes with a source record.
Try a page in your browser, or connect your agent through hosted MCP or the REST API. No installation or API key is needed to try the hosted service.
What can you do with Octocrawl?
| Capability | What you get |
|---|---|
| Scrape a page | Readable Markdown for LLM context, plus HTML, links, image URLs and page metadata. Request a screenshot on the browser lane. |
| Map a website | Discover URLs from sitemaps and page links, and filter them by a search term to find the pages you need. |
| Crawl a site or section | Follow links from a starting URL and collect each page’s content, with path filters, depth and page limits. |
安装
npx octocrawl scrape https://example.com --markdown