owl234/arl-next

---

💡 什么是 ARL-Next？

ARL-Next 是基于经典开源项目 ARL (资产侦察灯塔) 进行架构重构与持续演进的资产测绘平台。 针对大规模扫描场景下的任务队列阻塞、长时间运行内存增长以及历史依赖过时等工程瓶颈，系统实施了微服务拆分与异步任务解耦，全面升级现代运行底座与测绘工具链，并集成了 Model Context Protocol (MCP) 标准协议，支持自动化资产透视与 AI 协同调度。

---

💡 架构演进与技术方案基准对比

---

✨ 核心特性矩阵

• 🤖 MCP 标准协议集成：内置标准化 Python MCP 服务，支持外部 Agent 对接下发任务与 13 维资产大盘数据导出。（👉 MCP 配置指南）
• ⚙️ 异步解耦并发调度：微服务拆分与独立任务队列分流，结合批量数据落库优化，保障高吞吐扫描平稳运行。
• 🌐 多层企业资产关联：支持企业股权关系下钻与全类型 ICP（网站/APP/小程序/快应用）自动化关联，构建多级资产拓扑。
• 🔍 现代资产测绘基准：基于 Nmap 7.95 LTS 稳定版；内置原生 Python 敏感凭据与信息流式提取引擎。
• 🛡️ 漏洞与代码泄露监控：持续同步权威 CVE 漏洞情报，监听 GitHub 关联代码与凭据泄露，支持基于原子更新的去重机制。
• ⚡ 高可用运维与自愈机制：集成容器健康探活、就绪轮询与自动重启机制，支持管理后台在线平滑升级。
• 📦 预构建镜像加速：提供阿里云国内镜像源预编译构建制品，规避跨国网络波动导致的镜像拉取与依赖安装失败。

---

📸 界面预览

• 全局仪表盘 (Dashboard)：实时监测宿主机物理内存与 Swap 水位、系统资源负载、扫描任务生命周期、多维风险态势大盘与全景操作日志流。

---

🏗️ 架构设计

ARL-Next 采用前后端解耦、异步分布式任务队列与轻量微服务集群架构。整体数据流与模块交互如下：

graph TD
    %% 1. 接入层
    User["👨‍💻 安全分析师 (浏览器)"] -->|"HTTPS / Basic Auth (5173)"| Nginx["🖥️ Frontend (Nginx + Vue 3.5)"]
    Agent["🤖 AI Agent (Claude / Cursor)"] -.->|"MCP 协议 (Stdio)"| MCP["🤖 MCP Server (Python 原生)"]

    %% 2. API 网关层
    Nginx -->|"REST API 反代 (5000)"| Backend["⚙️ Backend API (Gunicorn / Python 3.13)"]
    MCP -->|"API Token 鉴权调用"| Backend

    %% 3. 调度与任务分流 (双轨解耦)
    Backend -->|"1. 异步直调 (16181)"| OSINT["🧩 OSINT 微服务"]
    Backend -->|"2. 生产扫描任务"| MQ(("⚡ RabbitMQ 3 (轻重/GitHub 多队列)"))

    %% 4. Celery Worker 扫描计算集群
    subgraph WorkerCluster ["⚙️ Celery Worker 扫描与调度集群"]
        MQ -->|"轻量队列 arltask_light"| W_Light["⚡ 轻任务 Worker (DNS/端口/指纹)"]
        MQ -->|"重载队列 arltask_heavy"| W_Heavy["🔥 重任务 Worker (Nuclei/PoC/爬虫)"]
        MQ -->|"威胁队列 arlgithub"| W_Git["🛡️ 威胁情报 Worker (CVE/代码泄露)"]
        
        Scheduler["⏰ 监控调度引擎 (Scheduler & Beat)"] -.->|"周期触发"| MQ
        W_Heavy -->|"HTTP 截图渲染 (5005)"| Puppeteer["🧩 Puppeteer 微服务 (无头截图/滚动自愈)"]
    end

    %% 5. 数据统一落库 (从上往下自然汇聚分流)
    Backend |"大盘查询 / 状态读写"| DB[("🗄️ MongoDB 7.0 (联合索引大宽表)")]
    OSINT -->|"异步结果直接入库"| DB
    W_Light -->|"safe_insert_asset_many 批量写入"| DB
    W_Heavy -->|"bulk_write 批量写入"| DB
    W_Git -->|"原子 upsert 写入"| DB

    Autoheal["🛡️ Autoheal 守护探针"] -.->|"docker.sock 探活与自愈"| WorkerCluster

    classDef default fill:#fbfbfb,stroke:#e0e0e0,stroke-width:1px;
    classDef core fill:#eef2ff,stroke:#6366f1,stroke-width:2px;
    classDef ai fill:#f5f3ff,stroke:#8b5cf6,stroke-width:2px;
    classDef db fill:#ecfdf5,stroke:#10b981,stroke-width:2px;
    classDef micro fill:#fffbeb,stroke:#f59e0b,stroke-width:1px;
    
    class Nginx,Backend,WorkerCluster,W_Light,W_Heavy,W_Git core;
    class Agent,MCP ai;
    class DB,MQ db;
    class OSINT,Puppeteer,Autoheal,Scheduler micro;

核心架构要点：

1. 🖥️ 展示与网关 (Frontend / Nginx)：基于 Vue 3.5 + Nginx，支持全站表格与操作栏 Sticky 悬浮吸附及 Basic Auth 前置网关防护。
2. ⚙️ 业务与协议接入 (Backend / MCP)：基于 Python 3.13 + Gunicorn；内置 原生 Python MCP 服务，提供标准协议接口与 13 维资产数据模型导出能力。
3. 🧩 OSINT 独立微服务：专职企业资产与 ICP 异步情报采集，由 Backend 直调协程池，独立于 Celery 扫描队列以规避长耗时任务阻塞。
4. ⚡ 多队列 Worker 集群：划分轻量/重载/威胁情报独立队列；通过 Worker 子进程生命周期轮转机制控制内存增长；测绘底座统一至 Nmap 7.95 LTS 稳定版。
5. 🛡️ 微服务与守护探针 (Puppeteer / Autoheal)：无头截图容器化隔离并支持健康探活；Autoheal 守护进程定时探活并处理异常状态容器；纯 Python 引擎高效提取敏感信息。
6. 🗄️ 高吞吐持久层与并发优化 (MongoDB 7.0)：数据写入全面迁移至 bulk_write 批量接口，核心集合覆盖联合唯一索引并设 1GB 内存池保护；解除不合理的内存硬限制，保障高吞吐扫描平稳性。

---

🚀 部署指南

生产部署 (推荐)

适用环境：公网云服务器 (Ubuntu / Debian / CentOS / 统信等)、企业内网服务器。
预估耗时：自带 Docker 环境约需 1~2 分钟；全新裸机从零安装约 3~5 分钟。

核心机制与优势：

• ⚡ 国内镜像加速：直连阿里云国内镜像私库，规避跨国网络超时与拉取阻断。
• 📦 开箱即用：预构建交付，无需在宿主机配置复杂编译链与工具库。
• 🛡️ 双层安全防护：内置 SSL 证书与 Basic Auth 前置网关防护，核心组件全私有网络隔离。
• 🔄 后台平滑热更：支持直接在管理后台一键触发升级流程，自动同步编排脚本与最新镜像。
• 🩺 全自动健康探活：内置 API 就绪轮询机制与 Swap 内存自愈探针，服务就绪再放行，保障启动稳定性。

---

🚀 部署方式选择

方法一：国内镜像快速部署（推荐 · 规避 GitHub 网络波动）

在服务器终端 (需 root 权限) 粘贴并执行对应系统的连缀指令。脚本将从阿里云国内镜像提取全套部署编排，并自动配置 Swap、安装/补齐 Docker 与 Compose 插件后一键拉起：

[!TIP] start-prod.sh 内置全套环境探针，支持自动安装 Docker、补齐 Docker Compose 插件并调优内核，裸机亦可顺畅运行。

Ubuntu / Debian / 统信 系统：

# 1. 安装基础工具并创建目录
apt-get update && apt-get install -y docker.io openssl curl && \
mkdir -p ~/ARL-Next && cd ~/ARL-Next && \
# 2. 从阿里云国内镜像提取全套部署编排并启动
docker pull crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker rm -f arl-temp 2>/dev/null || true && \
docker create --name arl-temp crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker cp arl-temp:/code/start-prod.sh ./ && \
docker cp arl-temp:/code/docker-compose.prod.yml ./ && \
docker cp arl-temp:/code/updater ./ && \
docker cp arl-temp:/code/version.txt ./ && \
docker cp arl-temp:/code/CHANGELOG.md ./ && \
docker cp arl-temp:/code/frontend ./ && \
docker rm -f arl-temp && \
chmod +x start-prod.sh && bash start-prod.sh

CentOS / RHEL / Alibaba Cloud Linux / TencentOS 系统：

# 1. 安装基础工具、自动补齐 Docker 并创建目录
(command -v docker &>/dev/null || curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun) && \
systemctl enable --now docker 2>/dev/null || true && \
yum install -y openssl curl && \
mkdir -p ~/ARL-Next && cd ~/ARL-Next && \
# 2. 从阿里云国内镜像提取全套部署编排并启动
docker pull crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker rm -f arl-temp 2>/dev/null || true && \
docker create --name arl-temp crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker cp arl-temp:/code/start-prod.sh ./ && \
docker cp arl-temp:/code/docker-compose.prod.yml ./ && \
docker cp arl-temp:/code/updater ./ && \
docker cp arl-temp:/code/version.txt ./ && \
docker cp arl-temp:/code/CHANGELOG.md ./ && \
docker cp arl-temp:/code/frontend ./ && \
docker rm -f arl-temp && \
chmod +x start-prod.sh && bash start-prod.sh

方法二：GitHub 源码克隆部署（适用于海外服务器 / 源码部署）

[!TIP] start-prod.sh 内置全套环境探针，裸机运行亦会自动安装 Docker 并优化内核配置。

git clone --depth 1 https://github.com/owl234/ARL-Next.git && cd ARL-Next
chmod +x start-prod.sh
bash start-prod.sh

---

🔑 访问与初始凭据

部署完成后，在浏览器中访问：https://:5173（首次自签名证书请无视浏览器不安全提示）。

[!TIP]

• 网络与防火墙开放：请确保云服务器控制台安全组及系统本地防火墙（如 ufw allow 5173/tcp 或 firewall-cmd --permanent --add-port=5173/tcp && firewall-cmd --reload）已放行 5173 TCP 端口。
• 商业证书替换 (可选)：将您申请的真实 SSL 证书重命名为 arl.crt 和 arl.key 放至 ssl-certs/ 目录，然后再次执行 bash start-prod.sh 即可。

---

🔄 生产环境版本升级

ARL-Next 支持 Web 管理后台一键热更新（在「系统设置」中在线升级）与 终端标准手动升级：

方案一：Web 管理后台一键热更新（推荐）

登录 ARL-Next 平台 ➔ 进入 「系统设置」 页面 ➔ 点击 「一键系统更新」。 宿主机更新守护进程将自动拉取最新构建、同步最新编排脚本与版本文件，并在后台完成容器热重启与全量健康探活，全程无需登录终端。

方案二：终端标准手动升级

在服务器终端进入 ARL-Next 部署目录，根据您的初次安装方式执行对应升级命令：

• Git 源码克隆用户 (方法二部署)：

  cd ~/ARL-Next && git pull && sudo bash start-prod.sh
  

• 免 Git 一键部署用户 (方法一部署)： 在终端执行以下连缀指令，重新同步最新的编排脚本并平滑拉起：

  cd ~/ARL-Next && \
  docker pull crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
  docker run --rm -v $(pwd):/host crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest bash -c "cp /code/start-prod.sh /host/start-prod.sh && cp /code/docker-compose.prod.yml /host/docker-compose.prod.yml && cp /code/updater -r /host/updater 2>/dev/null || true; mkdir -p /host/frontend && cp /code/frontend/default.conf.prod /host/frontend/default.conf.prod 2>/dev/null || true; cp /code/version.txt /host/version.txt 2>/dev/null || true; cp /code/CHANGELOG.md /host/CHANGELOG.md 2>/dev/null || true" && \
  sudo bash start-prod.sh
  

[!TIP] 升级保障机制：

• 数据增量平滑迁移：内置版本增量迁移逻辑，自动维护集合结构与联合唯一索引，降低升级冲突风险。
• 运行镜像备份标签：升级前自动为当前运行的服务镜像（Web、Worker、Puppeteer、OSINT等）打上 backup-stable 标签，保障异常时可快速回滚。
• 镜像加速与就绪探针：直连阿里云国内镜像仓库拉取构建制品，API 动态探活就绪后再行放行。

---

❓ 常见问题与运维排错 (FAQ)

---

📜 更新日志

详细的版本演进历史、各版本特性与问题修复记录，请参阅 ➔ CHANGELOG.md

---

🤝 致谢

本项目站在巨人的肩膀上，特此鸣谢以下项目与团队：

• 核心架构：基于经典开源项目 ARL 资产侦察灯塔 深度重构，并参考了 Aabyss-Team/ARL 与 adysec/ARL 等优秀实践。
• 指纹数据：特别鸣谢 威零安全团队 ( 公众号) 提供的万级高质量 Web 指纹库支撑。
• 功能灵感：OSINT 企业查询深度借鉴了 ICP_Query，威胁监控模块汲取了 github-cve-monitor 的优雅设计。

ARL-Next 将始终秉持开源互助的黑客初心，持续为网络安全攻防与企业防御建设贡献力量！

---

💖 赞助与支持

ARL-Next 的持续高频迭代离不开社区伙伴的慷慨支持。特别致谢以下赞助者：

---

⚠️ 法律与免责声明

[!CAUTION] 合规红线与免责条款：
本平台仅供经过合法授权的企业安全建设、SRC 漏洞挖掘、学术攻防演练及安全研究使用。使用本工具开展任何探测与扫描前，使用者必须确保已获得目标资产所有者的明确书面授权，并严格遵守《中华人民共和国网络安全法》及当地法律法规。
严禁利用本工具从事任何未授权的入侵、攻击或破坏行为！ 任何因违规滥用导致的网络安全事故或法律责任，均由使用者本人独立承担，本项目作者与贡献者不承担任何直接或连带责任。

---

📄 开源协议 (License)

ARL-Next 项目遵循 GNU General Public License v3.0 (GPL-3.0) 开源许可证协议。

• 🆓 自由与开源：您可以免费用于企业自建、安全研究、资产测绘与攻防演练，并享有自由阅读、修改与定制源码的权利。
• 🌐 传染与同协议共享：若您在二次开发中修改或基于本项目构建衍生作品并向第三方分发，必须保持在相同的 GPL-3.0 许可证下完整开源相关代码。
• ⚖️ 署名与免责保留：任何形式的源码复制与再分发，均须保留原始作者版权声明、许可证全文以及免责条款。

---

💬 交流群与反馈通道

• 🐛 Bug 提交与功能建议：欢迎通过 GitHub Issues 提交反馈，通常 24 小时内跟进。
• 💡 技术交流与群聊：欢迎扫码添加作者微信或加入 QQ 交流群，探讨资产测绘、红蓝对抗与 AI 自动化安全。
• 📢 版本发布动态：欢迎关注微信公众号【owl安全】，获取版本迭代说明、架构解析与更新通知。

---

🌟 Star History