从零到一:用 Firecrawl 做出第一份成果
Firecrawl 是一款开源项目:把网站抓取并转为 Markdown 的开源爬取服务。
与其看十篇介绍,不如完整做一个小项目,这篇带你走一遍。
项目:内部文档入库
目标:用 Firecrawl 完成一次「内部文档入库」,交付一份可以直接给同事或客户看的结果。预计用时 1 小时以内。
步骤
- 阅读仓库 README 与许可证。
- 准备材料:一批 PDF、Word 和网页(先脱敏)
- 复制下面的提示词,替换方括号内容。
- 第一次结果出来后,只针对一个问题追问修改。
- 按验收标准检查:切分后的段落能回溯到页码。
- 保存提示词与最终结果,写三行复盘。
把这些文档解析为干净的文本:保留标题层级和表格,去掉页眉页脚,按章节切分,每段附上原文件名和页码。
复盘模板
这次任务:
节省或多花的时间:
需要人工修改的地方:
下次会改进的提示:
是否继续使用:
做完之后
可以尝试第二个任务「网页内容抓取」,或者把这次的流程分享给同事一起试。
更多可以试的用法
资料卡片整理
输入:搜索得到的十几篇资料。
把这些资料整理成卡片:每张卡片包括一句话结论、关键数据、来源和可信度评价,最后按主题分组。
交付前确认:每张卡片都有来源。
构建问答测试集
适用情况:手头有一份产品手册时。
根据手册编写 20 个用户可能问的问题及标准答案,标注答案所在章节,用来评估知识库检索效果。
验收标准:每个答案都能在手册中找到。
检索效果对比
输入:同一批问题和两种检索配置。
用同一批测试问题分别跑关键词检索、向量检索和混合检索,记录前 5 条结果中正确段落的命中情况。
检查点:对比用同一批问题。
常见问题:中文检索效果差
选择对中文支持好的嵌入模型,并为专有名词建立同义词。
常见问题:答案引用了错误段落
调整切分大小、加入重排序,并检查文档解析是否丢失标题。
常见问题:搜索结果过时
限定时间范围,或在提问中注明需要最新信息并核对发布日期。
概念补充:RAG(检索增强生成)
先检索相关资料再让模型作答,降低胡编概率。
概念补充:引用溯源
回答附带原文出处,便于核对。
适合人群:销售
销售可以用 Firecrawl 处理客户背景调研、跟进邮件与话术等工作。需要注意:客户数据按公司规定处理,报价和承诺以合同为准。
适合人群:法务与律师助理
法务与律师助理可以用 Firecrawl 处理合同初审、法规检索等工作。需要注意:AI 输出不构成法律意见,条款和法规必须由执业人员核实。
适合人群:研究生
研究生可以用 Firecrawl 处理文献阅读、开题与论文写作等工作。需要注意:遵守学校学术诚信规定,AI 只用于辅助理解和润色。
写在最后
涉及个人信息、商业机密或受监管数据时,先确认 Firecrawl 的数据处理条款,再决定能否使用。
本文基于 Firecrawl 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。