nanmicoder/mediacrawler
Developer toolsこのページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。 原文を見る
小紅書ノート |コメントクローラー、抖音動画 |コメントクローラー、快手動画 |コメントクローラー、ビリブリ動画 | コメントクローラー、微博投稿 | コメントクローラー、百度帖報投稿 | 百度帖報 コメント返信クローラー |知湖Q&A記事 | コメントクローラー
概要
BrowserActは、単一の文で任意のウェブサイトからデータを抽出することをサポートしています。コード不要、一発で組み込み、安定した再利用、そして非常に低いトークン消費量です。BrowserActは実際のブラウザを使って、内蔵の見えないブラウジング、CAPTCHA処理、住宅用プロキシを備えたデータ収集ボットを自動的に構築し、構造化された結果を直接出力します。今すぐ無料で試してみてください。 このリポジトリ⚠️⚠️⚠️⚠️は学習目的でご利用ください。違法または非準拠のウェブクロールのケース このリポジトリのすべてのコンテンツは研究および参考目的のみであり、商業利用は禁止されています。個人や組織は、このリポジトリのコンテンツを違法な目的で使用したり、他者の正当な権利と利益を侵害したりしてはなりません。このリポジトリに含まれるウェブスクレイピング技術は学習および研究目的のみであり、大規模なクロールやその他の違法行為に使用してはなりません。このリポジトリは、この倉庫コンテンツの使用に伴う法的責任を負いません。このリポジトリの内容を使用することで、あなたはこの免責事項のすべての条件に同意したものとみなされます。より詳細な免責事項を見るにはクリックしてください。クリック Xiaohongshu、Douyin、Kuaishou、Bilibili、Weibo、Tieba、Zhihuなどの主要プラットフォームからの情報スクレイピングを支援する強力な**です。 - :Playwrightブラウザ自動化フレームワークに基づくログインおよびログインモードの保存 - :ログイン状態を保持し、JS式を通じて署名パラメータを取得するブラウザコンテキスト環境を使用 - :複雑な逆暗号化アルゴリズムを不要にし、技術的な障壁を大幅に低くします 成熟したプロジェクト向けのアーキテクチャ設計の学習に焦点を当てており、ウェブスクレイピング技術だけでなく、Pro版のコードデザインの概念も同様に深く学ぶ価値があります! - ✅ (新機能) - ✅ (主要機能) - ✅ (主要機能) - ✅ 使いやすくなる - ✅ - ✅ 読みやすく保守しやすい(分離されたJSシグネチャロジック) - ✅ 大規模なクローラープロジェクトの構築に適している - ✅ 高いスケーラビリティ、ソースコード学習の価値を高める - ✅ (フルスタック開発学習に適している) - ✅ (HomeFeed) - ✅ (OpenClaw 🦞 / Claude Code / Cursorによるワンクリックインストールで、エージェントが自動的にデータをクロールできる) - [ ]
概要（AI 翻訳）
🤝 ゴールドスポンサーの皆様に特別な感謝を
BrowserActは、単一の文で任意のウェブサイトからデータを抽出することをサポートしています。コード不要、一発で組み込み、安定した再利用、そして非常に低いトークン消費量です。BrowserActは実際のブラウザを使って、内蔵の見えないブラウジング、CAPTCHA処理、住宅用プロキシを備えたデータ収集ボットを自動的に構築し、構造化された結果を直接出力します。今すぐ無料で試してみてください。
免責事項:
この倉庫⚠️⚠️⚠️⚠️は学習目的でご利用ください。違法または非協力のクローラーの事例があります
、このリポジトリのすべてのコンテンツは学習および参考目的のみであり、商業利用は禁止されています。個人や組織は、本リポジトリのコンテンツを違法な目的で使用したり、他者の正当な権利と利益を侵害したりしてはなりません。このリポジトリに含まれるウェブスクレイピング技術は学習および研究目的のみであり、他のプラットフォームでの大規模なクロールやその他の違法行為には使用してはなりません。このリポジトリは、この倉庫コンテンツの使用に起因するいかなる責任も負いません。このリポジトリの内容を使用することで、あなたは本免責事項のすべての利用規約に同意したものとみなされます。
より詳細な免責事項を見るにはクリックしてください。クリックしてジャンプ
📖 プロジェクト概要
Xiaohongshu、Douyin、Kuaishou、Bilibili、Weibo、Tieba、Zhihuなどの主要プラットフォームから公開情報の抽出を支援する強力なマルチプラットフォームセルフメディアデータ収集ツールです。
🔧 技術原理
- コア技術:Playwrightブラウザ自動化フレームワークに基づくログイン状態を保存
- JavaScriptリバースエンジニアリングなし:ログイン状態を保持し、JS表現で署名パラメータを取得するブラウザコンテキスト環境を利用します
- 利点:複雑な逆暗号化アルゴリズムが不要で、技術的な障壁を大幅に低くします
✨ 機能的特徴
| プラットフォーム | キーワード検索 | 特定の投稿IDクロール | 二次コメント | 指定クリエイターホームページ | ログインキャッシュ | IPプロキシプール | コメントクラウド画像生成 |
|---|---|---|---|---|---|---|---|
| 小洪書 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 豆音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| ビリビリ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| ティエバ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 知虎 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
🚀 オープンソース版には足りないですか?MediaCrawlerProに追加された内容をご覧ください:Breakpoint Crawling ·複数アカウント+IPプロキシプール ·Playwrightを削除しました ·複数のAIエージェントプロジェクトのソースコード(クリックで展開)
このページは AI により自動翻訳されています。技術的な詳細は原文をご確認ください。
推奨ツール
別のキーワードを試すか、フィルタを外してください。
インストール
npx skillfish add nanmicoder/mediacrawler