企业官网建设流程全解析

5 分钟跑通 Firecrawl：网页数据提取与 Markdown 转换完整指南

【免费下载链接】firecrawlThe context API to search, scrape, and interact with the web at scale. 🔥项目地址: https://gitcode.com/GitHub_Trending/fi/firecrawl

你需要从 500 个商品页批量抓取价格并导出 CSV，真正耗时的不是抓取本身，而是处理每个站点的 HTML 结构。Firecrawl 是一个开源的网页数据提取工具，它会自动把任意网页转换成干净的 Markdown 或 AI 可直接使用的结构化数据。

它解决什么问题

Firecrawl 是一个 web 上下文 API：给它一个 URL（或一句自然语言问题），它返回你要的格式。轮换代理、限流、JS 渲染这些脏活都在服务端处理，你只需要调用接口。四个核心能力分别对应四类常见任务：

• 单页抓取（Scrape）：一个 URL 转成 Markdown、JSON 或截图，适合拿单篇文档页或商品页
• 整站爬取（Crawl）：一次请求遍历网站全部页面，适合全站内容采集和构建内容索引
• URL 发现（Map）：瞬间列出网站所有 URL，适合动手爬取之前先估算规模
• AI 提取（Agent）：一句话描述需求或给出 schema，它自动找页面并返回结构化字段，适合不确定目标 URL 的场景

5 分钟跑通

克隆仓库后用 Docker Compose 启动完整栈，不需要逐个构建服务：

git clone https://gitcode.com/GitHub_Trending/fi/firecrawl cd firecrawl docker compose up

API 默认监听 3002 端口，栈里包含 API 工作进程、Playwright 浏览器服务、Redis 和消息队列，都由 compose 文件统一管理。部署方式二选一：Docker 容器化（推荐，可复现性最好），或本地直接运行（适合要改源码的开发者）。启动完成后，发一个 scrape 请求给任意 URL，就能看到第一份 Markdown 输出。

核心能力拆解

单页抓取：输入一个 URL，得到干净 Markdown。它会自动剥掉导航、广告等噪音，按你指定的格式（markdown / html / screenshot / json）输出。什么时候用：只需要单个页面时。怎么判断正常：输出里没有样板文字残留，metadata 带 title 和 sourceURL。下图是它的请求界面，也可以在这里直接给内置 Agent 分配自然语言任务。

整站爬取：自动遍历链接，构建内容图谱。输入起始 URL 和页面上限，它异步抓取站内各页并返回任务 ID，SDK 会自动替你轮询直到拿到全部页面内容。什么时候用：整个文档站、整个产品目录的采集。怎么判断正常：状态为 completed，total 与 completed 计数一致，每条结果都有 sourceURL。下图的 llms.txt 做法就是这类输出的典型形态——整站变成一个 LLM 可读的文本文件。

AI 提取：预定义 schema，精准拿结构化字段。输入一个数据结构（比如"商品名、价格、库存"）或一个问题，它从页面内容中识别字段并按格式输出。什么时候用：需要落库或进表格时。怎么判断正常：结果里每个字段都有值或明确为空，且附带来源 URL 可回溯。

搜索与 URL 发现：不知道确切 URL 时用。search 接收查询词，返回带整页 Markdown 的搜索结果；map 接收一个站点，立刻返回带标题和描述的 URL 列表，支持按关键词筛选。什么时候用：作为爬取前的第一步，先确定范围再动手。

实战场景

如果你在批量抓取产品价格并盯变动。输入商品页 URL，得到当前价格与历史走势；关键配置点是配一个定时任务定期抓取并落库。仓库 examples 目录里的 amazon-price-tracking 示例就是这条流水线的完整实现：抓取 → 存储 → 渲染趋势图。

如果你要聚合多源新闻。输入一组来源站 URL，用 batch scrape 批量拿全文 Markdown，再交给 LLM 做摘要和去重。关键配置点：给每个来源设页数上限，防止单个来源吃掉全部额度。

如果你在批量采集产品文档。先用 map 枚举全部文档 URL 估算规模，再用 crawl 带 limit 抓取；如果部分页面在登录墙后面，就在抓取前加交互动作。关键配置点是 limit 参数和 URL 过滤规则。

多语言集成

• Python（pip install firecrawl-py）：from firecrawl import Firecrawl，自带异步任务轮询，适合大多数数据和 agent 场景
• Node.js（npm install firecrawl）：import { Firecrawl } from 'firecrawl'，异步风格与 API 一致，适合前端和全栈工程师
• Rust（仓库内 apps/rust-sdk）：大批量高并发处理性能好，适合资源敏感的服务端
• 另有 Go、Java、PHP、Ruby、.NET、Elixir SDK，接口与 API 一一对应

🛠 进阶与避坑

页面交互（Actions）：抓取前可执行点击、滚动、输入、等待等预设动作，适合内容需要交互后才加载的页面。抓取后交互（Interact）：先 scrape 再针对同一页面继续用 AI 提示词或代码操作，适合登录、翻页这类多步流程。媒体解析：支持网页上的 PDF、DOCX 文件直接解析成文本。

三个常见问题：

1. 现象：返回的 Markdown 为空或只有加载骨架。原因：JS 渲染未完成，或页面需要交互。解决：加 wait 动作，或改用浏览器引擎抓取。
2. 现象：频繁出现 429 或超时。原因：并发超过目标站点承受力。解决：调低 CRAWL_CONCURRENT_REQUESTS（默认 10，一般站点 5~10 够用，对负载敏感的站点降到 2~5）。
3. 现象：crawl 任务长时间卡住。原因：站点规模超过 limit 或内链过深。解决：先用 map 估算规模，再带 limit 抓取；自部署且资源充足时，可上调 BROWSER_POOL_SIZE（默认 5）和 MAX_CONCURRENT_JOBS（默认 5）。

自部署另有一个坑：默认USE_DB_AUTHENTICATION=false表示无鉴权，API 暴露到可信网络之外之前，先补齐鉴权与 TLS 配置。

资源索引

• 自部署指南：SELF_HOST.md
• 部署配置（含全部环境变量与默认值）：docker-compose.yaml
• Python SDK：apps/python-sdk
• Kubernetes 与 Helm 部署：examples/kubernetes
• 示例合集（价格监控、定时抓取等）：examples

下一步

先跑一个单页抓取，把感兴趣的页面转成 Markdown 检查输出质量。然后选一个站点试 map + crawl，熟悉异步任务的轮询节奏。如果有结构化数据需求，定义第一个 schema 跑一次 AI 提取，对照来源 URL 验证字段准确性。

【免费下载链接】firecrawlThe context API to search, scrape, and interact with the web at scale. 🔥项目地址: https://gitcode.com/GitHub_Trending/fi/firecrawl