YUQI / WEB DATA PIPELINE · 基于 Firecrawl 二次开发方案

把网页,整理成
可持续更新的数据源

从网址清单到整站抓取,从正文提取到 Markdown / JSON 交付。煜企智能把分散在官网、文档站、产品目录与公告页里的内容,做成可复核、可复跑、可对接的结构化数据。

演示声明本页为静态介绍页。右侧控制台、下方任务记录、输出样例与运行日志均为前端模拟数据,不会发起任何真实网络请求,也不代表已建成后台系统。
8类引擎原生能力
逐项核对
2种标准输出格式
Markdown / JSON
4段技术链路
来源 → 交付
3类部署选择
云 / 自建 / 混合
采集控制台 演示 · 无真实请求

01 / 目标网址(演示样例)

https://

02 / 采集范围

03 / 输出格式

状态:待运行(演示)0%
OUTPUT / MARKDOWN演示数据
# 产品说明(演示样例)
等待运行演示流程后,此处展示模拟的正文抽取结果。
ROBOTS 默认遵守 LOG 任务留痕 RAG 数据准备 ≠ 知识库
SCROLL / 向下查看链路 所有界面 · 数据 · 日志均为演示
网页来源→ 网址清单 / 站点地图 / 域名范围
采集提取→ 抓取 / 正文 / 结构化字段
清洗整理→ 规则 / 去重 / 质量校验 / 增量
交付或对接→ 数据包 / 任务记录 / 知识库接口
Firecrawl 网页数据采集与整理流程示意图
Firecrawl 网页数据采集与整理流程 · 方案示意,非实际交付截图

图中的界面、数据及价格为示例;实际功能、授权与交付范围按项目确认。

01 / CAPABILITY MAP · 已核对官方资料

哪些是引擎原生,哪些需要定制实施

煜企智能以 Firecrawl 作为采集与提取引擎。以下按官方资料区分采集引擎与定制层,实际功能取决于版本、部署路径和外部服务配置。把两者分清,是评估工作量与交付边界的前提。

SOURCE / firecrawl · GitHub + Docs

单页抓取 Scrape

任意 URL 转 Markdown、HTML、截图或结构化 JSON;可只取正文内容。

官方能力

整站抓取 Crawl

通过 sitemap 与递归链接发现页面,支持 limit、maxDiscoveryDepth、路径包含与排除。

官方能力

网址发现 Map

快速枚举站点 URL,用于在正式抓取前确认范围与清单。

官方能力

批量异步 Batch

数千个网址异步抓取,配合状态查询获取结果。

官方能力

正文与格式输出

Markdown / HTML 输出,以及按 schema 的结构化 JSON 抽取。

官方能力

任务状态与回调

状态轮询、watcher 与 webhook(started / page / completed,HMAC 签名)。

官方能力

搜索与结果提取

Search 可配合抓取输出结果内容;搜索供应商与自托管配置需逐项核验。

配置后使用

模型辅助结构化

按 schema 提取 JSON;模型供应商、文件解析与高级提取路径按所选部署配置。

按配置核验

站点清洗规则

按客户站点定义正文选择器,剔除导航、页脚、广告与模板噪声。

需定制

内容级去重

按业务定义内容哈希、相似度阈值与 canonical 合并策略,并保留人工复核。

需定制

定时增量更新

调度周期、变更检测、只重采变化页,形成可持续更新的数据源。

需定制

数据质量校验

字段完备性、空值与异常页复核,输出可复查的质检结果。

需定制

任务编排与审计

运行台账、失败重试、留存策略与权限记录,便于追溯每次交付。

需定制

交付打包与版本

Markdown / JSON 目录结构、导出规范、版本快照与差异清单。

需定制

下游系统对接

写入接口、字段映射与分块元数据约定;知识库写入后的检索能力另建。

需定制

合规与访问控制

robots.txt 与站点条款核对、白名单、采集频率与访问审计。

需定制
核对依据(2026-11):官方仓库 firecrawl/firecrawl、官方文档 与 Crawl 功能文档。 官方列出的能力包括 Search / Scrape / Interact / Parse / Agent / Crawl / Map / Batch Scrape / Monitor;Scrape 可输出 markdown、HTML、截图或结构化 JSON。 关键边界:本方案的业务清洗与内容去重需定义独立规则,不能仅凭 URL 抓取参数视为已完成;ignoreQueryParameters 仅避免同一路径不同查询参数被重复抓取,不属于内容级去重;官方亦提示「抓取任务完成不等于覆盖到每一页」。因此清洗规则、内容去重与定时增量更新均属于定制实施范围。

02 / DATA PIPELINE · 链路可视化

网页来源 → 采集提取 → 清洗整理 → 交付或对接

四段链路各自留有可核对的输入与输出。前两段主要由采集引擎完成,第三段是按站点规则实施的定制层,第四段决定数据交给谁、以什么格式、多久更新一次。

FLOW / 04 STAGES
STAGE 01 / SOURCE

网页来源

确定采什么、不采什么:网址清单、域名范围、路径包含与排除规则、更新频率与合规前提。

网址清单站点地图路径规则来源台账
STAGE 02 / COLLECT

采集提取

单页、整站或批量网址抓取;JS 渲染页面可取回正文,输出 Markdown / HTML,或按 schema 抽取结构化 JSON。

单页抓取整站抓取正文提取JSON schema
STAGE 03 / CLEAN · 定制层

清洗整理

剔除导航、页脚与广告噪声;按内容哈希或相似度去重;字段完备性校验;标记新增与变更页,形成可增量更新的数据集。

清洗规则内容级去重质量校验增量标记
STAGE 04 / DELIVER

交付数据 / 对接知识库

交付 Markdown / JSON 数据包与任务台账;也可按约定写入下游系统。知识库建设本身不在此段内。

数据包任务记录写入接口更新计划
[演示事件]DEMO · 等待链路演示事件 … 本条为模拟事件,非真实任务
数据采集 ≠ 已经建成 RAG 知识库

采集与整理产出的是「可用语料 / 数据源」。要让这些数据可被检索问答,还需要另行完成右侧工作。

范围声明

本页介绍的服务范围(采集与整理)

01来源管理:网址清单、域名与路径规则
02采集与提取:正文、Markdown、结构化字段
03清洗与去重:站点规则、质量校验、增量标记
04交付与记录:数据包、任务台账、更新计划
05可选接口:把数据送入客户指定的下游系统

需另行建设(RAG 知识库侧)

01切分与元数据:分块策略、来源与时间戳标注
02向量化:Embedding 模型选型与批处理
03存储与索引:向量库 / 检索索引与权限隔离
04检索与生成:召回、重排、引用与提示词
05评测与运维:答案质量评测、更新回写、监控

RAG DATA READINESS · 数据准备

为知识库准备语料,但不替它建库

面向后续知识库建设,我们把语料整理到「可直接接收」的程度。以下六项是本方案交付的数据准备内容,仍属于采集与整理范围。

READY / 06 ITEMS
READY 01

来源可追溯

每条数据附 source_url、站点标识与采集时间,便于引用与回溯。

READY 02

正文粒度

去噪后的 Markdown 保留标题层级,适合后续按语义切分。

READY 03

结构化字段

JSON 字段(名称、SKU、参数、更新时间)可直接作为检索元数据。

READY 04

去重与版本

重复页合并并保留版本标记,避免同一内容反复入库。

READY 05

增量变更标记

标注新增 / 变更 / 失效页,支持按批次更新语料。

READY 06

交付契约

目录规范、批次编号与写入接口约定,便于下游系统接收。

边界重申:以上仅为数据准备。切分策略、Embedding、向量库与索引、检索重排、生成引用与效果评测属于 RAG 知识库侧,需另行立项建设;本页不代表已建成知识库。

03 / PRODUCT SURFACE · 界面演示

客户日常看到的,是任务、输出与规则

下列四个视图均为前端模拟:任务记录可筛选、输出格式可切换、清洗规则可开关。目的是说明交付物长什么样,不代表本页连接了任何真实服务或数据库。

DEMO UI / 04 VIEWS
数据整理工作台 全部数据为演示
筛选(演示) 演示台账
任务 ID来源(演示域名)采集模式页数输出状态时间
共 0 条演示记录 · 无真实任务台账字段可按客户系统调整
RAW / 页面正文(演示)演示数据
# 采集前的原始页面噪声(示意)
首页  产品  文档  价格  登录  ▸
## PX-200 工业网关 产品说明
PX-200 支持双链路冗余与远程运维…
推荐阅读|相关产品|版权所有 ©
广告位 / 面包屑 / 页脚导航 / Cookie 提示
CLEAN / Markdown 输出(演示)演示数据
# PX-200 工业网关
"category": "网络设备"
"sku": "PX-200"

## 关键参数
- 双链路冗余切换:< 200 ms
- 工作温度:-20 ~ 65 ℃
- 远程运维:支持

--- source: docs.example.com/product/px-200
--- crawled_at: 2026-11-15 09:42(演示)
清洗后仅保留正文与来源元数据输出字段由客户确认
SCHEMA / 结构化提取(演示)演示数据
{
  "type": "object",
  "properties": {
    "product_name": { "type": "string" },
    "sku":          { "type": "string" },
    "specs":        { "type": "array" },
    "updated_at":   { "type": "string" }
  }
}
RESULT / 单页抽取结果(演示)演示数据
{
  "product_name": "PX-200 工业网关",
  "sku": "PX-200",
  "specs": [
    "双链路冗余 < 200 ms",
    "工作温度 -20 ~ 65 ℃"
  ],
  "source_url": "docs.example.com/…",
  "updated_at": "演示时间"
}
结构化字段按客户业务定义 · 原生能力为 JSON schema 抽取字段校验规则属定制层
以上规则均为按站点定制的实施项,非引擎开箱能力点击开关查看状态(演示)

04 / DEPLOYMENT · 部署方式

三种落地路径,按数据边界选择

部署方式决定数据经过哪里、由谁运维、以及许可义务如何履行。以下为方案选项,本页不包含任何实际部署动作。

OPTION / 03 PATHS
PATH 01 / CLOUD API

Firecrawl Cloud 托管服务

使用官方托管 API 与 API Key 完成抓取,起步快、无需自建基础设施;Cloud 版还包含开源版没有的额外能力。

  • 适合:快速验证、来源分散、并发波动大
  • 数据路径:经第三方服务处理
  • 代价:按用量计费,需评估数据出域
PATH 02 / SELF-HOST

自建 Docker Compose 私有化

按官方 SELF_HOST.md / docker-compose.yaml 在客户环境运行开源版,采集与中间数据可按方案存储在客户环境,外部站点、模型与代理的数据流须另行确认;队列与数据库等组件由客户侧运维。

  • 适合:需要基础设施控制、有运维能力
  • 官方组件:API / Worker / PostgreSQL(NuQ) 等
  • 代价:版本升级、扩容与监控自担
PATH 03 / HYBRID

混合分层:采集与入库解耦

抓取与提取按需选择云端或自建,清洗、去重、任务台账与交付在客户侧完成,便于后续替换任一环节。

  • 适合:已有数据平台、希望逐步替换
  • 边界:清洗与调度逻辑归属明确
  • 代价:需要定义清晰的接口与数据契约
许可与合规核对:官方仓库说明主项目采用 AGPL-3.0,SDK 与部分 UI 组件为 MIT;官方自托管入口为 SELF_HOST.md、docker-compose.yaml 与 Self-Hosting Guide,具体组件与环境变量以官方指南为准(本页不展开未经核实的部署参数)。 Firecrawl 默认遵守 robots.txt,官方同时提示「最终用户有责任遵守站点政策、隐私政策与使用条款」。若自建并对外提供网络服务,AGPL-3.0 相关义务应交由法务评估;本页不构成法律意见。

05 / DELIVERABLES · 交付成果

交付的是可复跑的数据资产,不是一次性文件

每一项都有对应的可核对物:来源可追溯、规则可修改、任务可复查、更新可计划。拟交付范围以双方确认的实施与验收清单为准。

OUTPUT / 06 ITEMS

来源清单与采集配置

网址清单、域名范围、路径包含 / 排除规则、采集频率约定。

站点清洗规则说明

正文选择器、噪声剔除项、字段映射与例外处理清单。

结构化数据集

Markdown 正文与 JSON 字段数据,附来源 URL 与采集时间。

去重与质检结果

重复页判定、变更页清单与待复核项,便于抽检。

任务记录与运行日志

每次任务的状态、页数、失败原因与重跑记录。

更新与对接方案

增量更新计划、交付目录规范与下游写入接口约定。

06 / WORK SCENARIOS · 使用场景

从「谁去复制粘贴」到「数据自己更新」

典型起点是:产品资料散落在官网与文档站、竞品与公告页需要定期汇总、内部知识库长期缺少新鲜语料。下列为真实场景配图,用于说明协作情境。

SCENE / 03 FRAMES
SCENE 01 / SOURCE REVIEW团队共同梳理资料来源与采集范围的真实办公场景
梳理来源与范围

确认哪些页面要采、哪些路径排除、多久更新一次,先把规则说清再跑任务。

SCENE 02 / QUALITY CHECK团队协作复核数据整理结果的真实办公场景
复核抽取与清洗结果

对噪声页、重复内容与字段缺失做抽检,把例外沉淀成新的清洗规则。

SCENE 03 / HANDOVER工程师在开发环境核对数据交付接口的真实场景
交付与下游对接

按约定格式交付数据包与任务台账,或把数据送入客户指定的系统。

SCENE 04 / OPERATIONS代码与数据界面在真实工作环境中的展示
持续运行与增量更新

让新增与变更页按计划进入数据集,减少重复的人工整理;更新策略本身属于定制实施范围。

以上为真实场景配图(图库照片),用于说明协作情境,非煜企智能项目现场实拍;页面内所有界面截图、任务数据与日志均为演示。

07 / VALUE · 减少手工整理

把重复劳动,换成可维护的数据流程

下表说明工作方式的变化。收益来自流程化与可复跑,而不是某个工具的宣称指标;具体效果取决于站点结构、页面质量与约定的更新频率。

BEFORE / AFTER

人工整理(常见现状)

01逐页打开、复制、粘贴,格式随人而异
02导航、广告、页脚混进正文,需逐条删
03重复页面难识别,改版后旧数据仍在
04没有运行记录,出问题无从追溯
05更新靠提醒,知识库语料逐渐过期

采集整理流程(本页方案)

01按网址清单与路径规则统一执行
02站点清洗规则剔除模板与噪声
03内容级去重 + 增量标记,只处理变化页
04任务台账与日志可复查、可复跑
05按计划更新,形成可持续的数据源
NOTE 上述为方案描述,非效果承诺 SCOPE 不含 RAG 知识库建设 DEMO 页面数据均为演示 ACTION 不执行真实批量采集

NEXT STEP / 方案沟通

先确定数据来源与更新频率,
再谈部署与对接

我们可以从一份网址清单开始:确认站点结构、正文规则、去重口径与交付格式,再给出采集整理方案与实施范围。需要建设 RAG 知识库时,另行列项评估。