nanmicoder/mediacrawler
Developer toolsЭта страница переведена автоматически. Технические детали смотрите в оригинале. Открыть оригинал
Заметки Xiaohongshu | Краулер комментариев, видео Douyin | Краулер комментариев, видео Kuaishou | Краулер комментариев, видео Bilibili | Краулер комментариев, посты в Weibo | Краулер комментариев, посты Baidu Tieba | Краулер комментариев Baidu Tieba | Статья вопросов и ответов Zhihu | Краулер для комментариев
Обзор
BrowserAct поддерживает извлечение данных с любого сайта одним предложением. Код не требуется, встроен за один раз, стабильное повторное использование и крайне низкое потребление токенов. BrowserAct использует настоящий браузер для автоматического создания ботов для сбора данных, с встроенным невидимым браузером, обработкой CAPTCHA и домашними прокси, которые напрямую выводят структурированные результаты. Попробуйте бесплатно сейчас. Пожалуйста, используйте этот репозиторий ⚠️⚠️⚠️⚠️ для учебных целей. Случаи незаконного или несоответствующего веб-сканированию Весь контент в этом репозитории предназначен только для изучения и справочных целей и запрещён для коммерческого использования. Ни одно лицо или организация не может использовать содержимое этого репозитория в незаконных целях или нарушать законные права и интересы других лиц. Технология веб-скрапинга, используемая в этом репозитории, предназначена только для обучения и исследований и не должна использоваться для крупномасштабного сканирования или других незаконных действий на других платформах. Этот репозиторий не несёт юридической ответственности, возникающей за использование этого контента склада. Используя содержимое этого репозитория, вы соглашаетесь со всеми условиями этого отказа от ответственности. Нажмите для просмотра более подробного отказа от ответственности. Нажмите для перехода Мощный **, поддерживающий сбор информации с крупных платформ, таких как Xiaohongshu, Douyin, Kuaishou, Bilibili, Weibo, Tieba, Zhihu и других. - :Режим входа и входа, сохраненный на основе фреймворка автоматизации браузера Playwright - :Использует контекстную среду браузера, сохраняющую состояние входа для получения параметров подписи через JS-выражения - :Нет необходимости в сложных алгоритмах обратного шифрования, что значительно снижает технический барьер Сосредоточение на изучении архитектурного дизайна для зрелых проектов — дело не только в техниках веб-скрейпинга; концепции дизайна кода в Pro тоже заслуживают глубокого изучения! - ✅ (Новые функции) - ✅ (Ключевые функции) - ✅ (Ключевые функции) - ✅ , проще в использовании - ✅ - ✅ Проще читать и поддерживать (развязанная логика подписи JS) - ✅ Подходит для создания крупных краулерных проектов - ✅ Высокая масштабируемость, большая ценность для изучения исходного кода - ✅ (Подходит для изучения full-stack разработки) - ✅ (HomeFeed) - ✅ (Установка в один клик с помощью OpenClaw 🦞 / Claude Code / Cursor, позволяющая Agent автоматически сканировать данные) - [ ]
Обзор (машинный перевод)
🤝 Особая благодарность золотым спонсорам
BrowserAct поддерживает извлечение данных с любого сайта одним предложением. Код не требуется, встроен за один раз, стабильное повторное использование и крайне низкое потребление токенов. BrowserAct использует настоящий браузер для автоматического создания ботов для сбора данных, с встроенным невидимым браузером, обработкой CAPTCHA и домашними прокси, которые напрямую выводят структурированные результаты. Попробуйте бесплатно сейчас.
Отказ от ответственности:
Пожалуйста, используйте этот склад ⚠️⚠️⚠️⚠️ для учебных целей; есть случаи незаконных или несоответствующих требованиям краулеров
весь контент в этом репозитории предназначен только для обучения и справочных целей и запрещён для коммерческого использования. Ни одно физическое лицо или организация не может использовать содержимое этого репозитория в незаконных целях или нарушать законные права и интересы других. Технология веб-скрапинга, используемая в этом репозитории, предназначена только для учебных и исследовательских целей и не должна использоваться для масштабного сканирования или других незаконных действий на других платформах. Этот репозиторий не несёт на себя юридической ответственности за любые вопросы, возникающие в результате использования этого контента склада. Используя содержимое этого репозитория, вы соглашаетесь со всеми условиями настоящего отказа от ответственности.
Нажмите, чтобы увидеть более подробный отказ от ответственности. Нажмите, чтобы перейти
📖 Обзор проекта
Мощный мультиплатформенный инструмент для сбора данных в виде самостоятельного медиа, который поддерживает извлечение публичной информации с крупных платформ, таких как Xiaohongshu, Douyin, Kuaishou, Bilibili, Weibo, Tieba, Zhihu и других.
🔧 Технические принципы
- Core Technology: Вход сохраняет статус входа на основе фреймворка автоматизации браузера Playwright
- Нет обратного инжиниринга JS: использует контекстную среду браузера, сохраняющую статус входа для получения параметров подписи через JS-выражения
- Преимущества: Нет необходимости в сложных алгоритмах обратного шифрования, что значительно снижает технический барьер
✨ Функциональные особенности
| Платформа | Поиск по ключевым словам | Сканирование конкретных идентификаторов постов | Вторичные комментарии | Главная страница назначенного автора | Кэш входа | IP-пул прокси | Генерация облака изображений комментариев |
|---|---|---|---|---|---|---|---|
| Сяохуншу | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Douyin | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Куайшоу | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Билибили | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| Тиеба | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Чжиху | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
🚀 Недостаточно для версии с открытым исходным кодом? Смотрите, что добавлено в MediaCrawlerPro: Breakpoint Crawling · Несколько аккаунтов + пул IP-прокси · Удален Playwright · Исходный код проекта Multiple AI Agent (нажмите для расширения)
Эта страница переведена автоматически. Технические детали смотрите в оригинале.
Рекомендуемые инструменты
Попробуйте другой запрос или уберите фильтр.
Установка
npx skillfish add nanmicoder/mediacrawler