企业官网建设流程全解析

> GitHub 项目地址：[https://github.com/tomjoy248-crypto/InfoScraper](https://github.com/tomjoy248-crypto/InfoScraper)
>
> 最新 Windows 安装包：[Releases 下载页](https://github.com/tomjoy248-crypto/SL-crawler-/releases/latest)

## 项目介绍

InfoScraper 是一个 Windows 桌面端信息收集与网页资产分析工具。它的目标是降低资产梳理的门槛：输入一个 URL、域名或 IP，即可在授权范围内收集页面资源、公开子域名、DNS、基础网络信息、技术指纹和公开接口线索，并支持导出和报告生成。

项目重点是**被动收集、低影响探测和结果留存**，适用于自有系统巡检、授权渗透测试前的资产梳理，以及公开网站的基础信息归档。

## 主要能力

### 1. URL 页面资产收集

- 自动抓取页面标题、描述、链接、图片、脚本、样式表、视频和 iframe。
- 支持限定同主机、限定页数和深度的页面爬取。
- 未配置 CSS/XPath 选择器时，可自动切换到页面资产收集模式。
- 支持 robots.txt 规则处理、重试、延迟、Cookie、代理和断点续跑。

### 2. 域名与子域名信息收集

- 使用 crt.sh 和 Hackertarget 进行公开子域名收集。
- 支持根域名、带路径 URL、带端口 URL 和 IPv4 输入。
- 收集 DNS A、AAAA、CNAME、MX、NS、TXT 记录。
- 从 robots.txt 和 sitemap.xml 中提取公开 URL。

### 3. IP、ASN 与 RDAP 信息

- DNS/IP 解析。
- ASN、组织、国家、城市等基础网络信息。
- CDN 基础判断。
- RDAP 注册组织、注册/到期/变更时间、名称服务器信息。
- C 段以保守的 `/24` 归类展示，仅用于资产关联参考。

### 4. 技术指纹与公开接口线索

- 基础识别 Nginx、Apache、IIS、Caddy、LiteSpeed、PHP、ASP.NET、Express、Gunicorn 等服务组件。
- 基础识别 WordPress、Laravel、Django、Vue、React、Next.js、Nuxt、Angular、Shopify、Drupal 等技术栈。
- 提取页面、外部 JavaScript 和 Source Map 中的公开 API 线索。
- Playwright 渲染模式下，可记录页面运行时发出的同源 API、GraphQL、REST、JSON/XML 请求。

### 5. 授权端口检查

- 仅对用户明确填写到“授权域名白名单”的主机执行。
- 使用固定常见端口集合进行低影响 TCP 连通性检查。
- 连接成功后最多读取少量服务提示，不发送攻击载荷。
- 支持取消，单个端口失败不影响其他端口结果。

### 6. 外部数据源（可选）

可在“API 配置”中保存自己的 API Key。未配置 Key 时不会影响基础功能。

- Shodan：主机信息。
- VirusTotal：域名信息。
- SecurityTrails：子域名信息。
- FOFA：域名查询，需要 API Key 和 FOFA 邮箱。

这些查询为只读调用，结果会合并进入一键流程、历史记录和导出文件。请遵守对应平台的服务条款、额度和目标授权要求。

### 7. 任务、结果与报告

- 一键全流程：子域名、DNS、HTTP、RDAP、公开 URL、可选 Provider 和授权端口检查。
- 并发资产探测与 Provider 查询。
- 运行中可取消当前任务。
- 结果保存到历史记录，支持 Excel、CSV、JSON 导出。
- 支持 HTML 报告和 PDF 报告。
- 报告包含总记录数、资产类型统计和失败/不可达目标摘要。

## 使用步骤

1. 从 Releases 下载并安装 `InfoScraper-Setup.exe`。
2. 启动程序，在“起始 URL”输入目标，例如 `https://example.com`。
3. 根据需求选择：
- 点击“扫描页面资产”：收集网页、脚本、图片、链接和接口线索。
- 点击“收集域名资产”：收集子域名、DNS、IP/RDAP 等信息。
- 点击“一键全流程”：执行综合资产收集。
4. 如需分析 JavaScript 动态页面，勾选“使用 Playwright 渲染”。
5. 如需端口检查，先在“授权域名白名单”填写已获授权的主机，再点击“授权端口探测”。
6. 任务结束后，可在结果预览和历史记录中查看数据，并导出 Excel/CSV/JSON 或生成报告。

## 授权与使用说明

本工具用于自有资产、明确书面授权的测试目标或合法公开资料的整理。

- 不应用于未授权扫描。
- 端口检查需要用户显式填写授权白名单。
- 工具不包含密码爆破、认证绕过、漏洞利用、持久化、横向移动或数据窃取功能。
- 外部 API 的使用需要用户自行配置合法 Key，并遵守供应商规则。

## 当前限制

- 子域名结果依赖公开数据源，无法保证覆盖全部资产。
- 指纹规则是持续扩展的规则集，不等同于完整商业 Wappalyzer 数据库。
- JavaScript 分析主要覆盖静态线索和可见运行时请求；复杂混淆、登录后请求和深层 Source Map 仍可能遗漏。
- PDF 报告需要本机安装 Playwright Chromium。
- 不同网络环境可能导致公开数据源超时或限流，工具会保留可用结果并记录失败信息。

## 获取项目

- GitHub：<https://github.com/tomjoy248-crypto/InfoScraper>
- Releases：<https://github.com/tomjoy248-crypto/SL-crawler-/releases/latest>

欢迎提交 Issue 和改进建议。使用前请确认目标授权范围。