在「搜索与知识库」类工具里,Marker 的定位是:把 PDF 快速转换成 Markdown 的开源工具。

单独用一个工具往往只解决一段问题,这篇讲怎么把它和上下游工具串起来。

推荐组合:Marker + GLM 开源模型

GLM 开源模型的定位是:智谱开源的 GLM 系列模型。两者分工可以是:Marker 负责「资料卡片整理」这一步,GLM 开源模型负责用本地模型处理敏感部分。

工作流步骤

  1. 明确交付物和验收标准,例如:每张卡片都有来源。
  2. 准备输入:搜索得到的十几篇资料,先去掉敏感信息。
  3. 在 Marker 中执行核心步骤(提示词见下文)
  4. 把结果交给 GLM 开源模型做下一步处理,或从 GLM 开源模型取得所需材料。
  5. 人工检查关键事实与格式,记录发现的问题。
  6. 把这次用到的提示词和设置保存为模板,下次复用。

资料卡片整理

输入:搜索得到的十几篇资料。

把这些资料整理成卡片:每张卡片包括一句话结论、关键数据、来源和可信度评价,最后按主题分组。

交付前确认:每张卡片都有来源。

交接时最容易出问题的地方

  • 格式不兼容:两边导入导出的格式提前测试一次。
  • 信息丢失:每次交接附上来源和版本号。
  • 责任不清:约定哪一步由谁做最终确认。
  • 权限分散:两边的账号和分享范围分别检查。

如果暂时不想引入第二个工具,也可以先用 Nougat 等同类产品替代其中一环,跑通流程后再决定。

延伸练习

构建问答测试集

适用情况:手头有一份产品手册时。

根据手册编写 20 个用户可能问的问题及标准答案,标注答案所在章节,用来评估知识库检索效果。

交付前确认:每个答案都能在手册中找到。

网页内容抓取

适用情况:手头有一组需要定期关注的网页时。

把这些网页转成 Markdown,去掉导航和广告,只保留正文、发布日期和作者;发布日期缺失时标注「未知」。

检查点:没有臆造发布日期。

检索效果对比

准备材料:同一批问题和两种检索配置。

用同一批测试问题分别跑关键词检索、向量检索和混合检索,记录前 5 条结果中正确段落的命中情况。

检查点:对比用同一批问题。

常见问题:回答过于笼统

要求逐条引用原文,并限定只回答文档中有依据的内容。

常见问题:表格内容检索不到

换用能保留表格结构的解析工具,或单独把表格转成文本描述。

常见问题:答案引用了错误段落

调整切分大小、加入重排序,并检查文档解析是否丢失标题。

概念补充:重排序(Rerank)

对初步检索结果再次打分排序,提升相关性。

概念补充:切分(Chunking)

把长文档拆成适合检索的小段,大小影响效果。

适合人群:数据分析师

数据分析师可以用 Marker 处理取数与 SQL、清洗与可视化等工作。需要注意:确认指标口径,敏感数据脱敏后再交给 AI 处理。

适合人群:科研人员

科研人员可以用 Marker 处理文献检索与阅读、实验记录与数据整理等工作。需要注意:遵守期刊和机构关于 AI 使用的披露要求,引用逐条核对。

使用提醒

涉及个人信息、商业机密或受监管数据时,先确认 Marker 的数据处理条款,再决定能否使用。

所有示例输出均为示意,不代表真实统计或效果承诺;请以自己的测试结果为准。

延伸阅读