Marker 怎么和其他工具组合:一条可落地的工作流
在「搜索与知识库」类工具里,Marker 的定位是:把 PDF 快速转换成 Markdown 的开源工具。
单独用一个工具往往只解决一段问题,这篇讲怎么把它和上下游工具串起来。
推荐组合:Marker + GLM 开源模型
GLM 开源模型的定位是:智谱开源的 GLM 系列模型。两者分工可以是:Marker 负责「资料卡片整理」这一步,GLM 开源模型负责用本地模型处理敏感部分。
工作流步骤
- 明确交付物和验收标准,例如:每张卡片都有来源。
- 准备输入:搜索得到的十几篇资料,先去掉敏感信息。
- 在 Marker 中执行核心步骤(提示词见下文)
- 把结果交给 GLM 开源模型做下一步处理,或从 GLM 开源模型取得所需材料。
- 人工检查关键事实与格式,记录发现的问题。
- 把这次用到的提示词和设置保存为模板,下次复用。
资料卡片整理
输入:搜索得到的十几篇资料。
把这些资料整理成卡片:每张卡片包括一句话结论、关键数据、来源和可信度评价,最后按主题分组。
交付前确认:每张卡片都有来源。
交接时最容易出问题的地方
- 格式不兼容:两边导入导出的格式提前测试一次。
- 信息丢失:每次交接附上来源和版本号。
- 责任不清:约定哪一步由谁做最终确认。
- 权限分散:两边的账号和分享范围分别检查。
如果暂时不想引入第二个工具,也可以先用 Nougat 等同类产品替代其中一环,跑通流程后再决定。
延伸练习
构建问答测试集
适用情况:手头有一份产品手册时。
根据手册编写 20 个用户可能问的问题及标准答案,标注答案所在章节,用来评估知识库检索效果。
交付前确认:每个答案都能在手册中找到。
网页内容抓取
适用情况:手头有一组需要定期关注的网页时。
把这些网页转成 Markdown,去掉导航和广告,只保留正文、发布日期和作者;发布日期缺失时标注「未知」。
检查点:没有臆造发布日期。
检索效果对比
准备材料:同一批问题和两种检索配置。
用同一批测试问题分别跑关键词检索、向量检索和混合检索,记录前 5 条结果中正确段落的命中情况。
检查点:对比用同一批问题。
常见问题:回答过于笼统
要求逐条引用原文,并限定只回答文档中有依据的内容。
常见问题:表格内容检索不到
换用能保留表格结构的解析工具,或单独把表格转成文本描述。
常见问题:答案引用了错误段落
调整切分大小、加入重排序,并检查文档解析是否丢失标题。
概念补充:重排序(Rerank)
对初步检索结果再次打分排序,提升相关性。
概念补充:切分(Chunking)
把长文档拆成适合检索的小段,大小影响效果。
适合人群:数据分析师
数据分析师可以用 Marker 处理取数与 SQL、清洗与可视化等工作。需要注意:确认指标口径,敏感数据脱敏后再交给 AI 处理。
适合人群:科研人员
科研人员可以用 Marker 处理文献检索与阅读、实验记录与数据整理等工作。需要注意:遵守期刊和机构关于 AI 使用的披露要求,引用逐条核对。
使用提醒
涉及个人信息、商业机密或受监管数据时,先确认 Marker 的数据处理条款,再决定能否使用。
所有示例输出均为示意,不代表真实统计或效果承诺;请以自己的测试结果为准。