LangChain 工具实战:把网页转文档变成可调用的智能体
运营与开发人员经常要做「网页转文档」这类事:把网页正文转换为干净的 Markdown。每次都从头写提示词,结果时好时坏;把它做成智能体 Skill,就能让智能体每次按同一套步骤执行,输出结构也更稳定。
本文介绍如何在 LangChain / LangGraph 工具 上实现这个技能,包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。
这个技能做什么
| 项目 | 说明 |
|---|---|
| 技能 | 网页转文档(web-to-markdown) |
| 作用 | 把网页正文转换为干净的 Markdown |
| 输入 | 网页地址 |
| 输出 | Markdown 文档 |
| 形态 | 带脚本 |
| 风险 | 低 |
| 适用人群 | 运营与开发人员 |
处理流程分四步:
- 抓取页面
- 提取正文
- 转换格式
- 保留来源
这个技能需要运行本地脚本(解析文件、调用命令行工具等),要求运行环境允许执行代码;风险较低,但输出仍需快速过目再使用。
在 LangChain / LangGraph 工具 中是什么形态
LangChain 用 @tool 装饰器把函数变成工具,LangGraph 提供预置的 ReAct 智能体,也可以自己画状态图,把技能拆成可观察、可重试的节点。
代码运行在你的环境中;流程复杂时建议从预置智能体起步,再逐步换成自定义图。
示例配置
# 示意代码:LangChain 工具 + LangGraph 预置 ReAct 智能体
from langchain_core.tools import tool
from langchain.chat_models import init_chat_model
from langgraph.prebuilt import create_react_agent
@tool
def web_to_markdown_precheck(content: str) -> str:
"""检查网页地址是否齐全,返回缺失项。"""
return "ok" if content.strip() else "输入为空"
model = init_chat_model("你的模型标识")
agent = create_react_agent(
model, tools=[web_to_markdown_precheck],
prompt="你负责网页转文档:抓取页面;提取正文;转换格式;保留来源。",
)
out = agent.invoke({"messages": [("user", "这是网页地址:...")]})
示例里最重要的是两处:一是描述(或指令开头)要写明「什么时候用」,让智能体在运营与开发人员提出相关请求时能对上号;二是约束部分要写进「遵守网站条款与访问频率,提交类操作需人工确认」这类领域规矩,避免智能体自作主张。
安装与启用步骤
- 安装 LangChain 与 LangGraph
- 用 @tool 定义预检查、读取等工具
- 用预置智能体快速跑通
- 需要固定流程时改为自定义状态图,每一步一个节点
- 接入追踪工具观察每一步
实操:一次完整的运行
假设你在浏览器与自动化工具中发出这样的请求(虚构示例):
用网页转文档技能处理这份网页地址,输出Markdown 文档。
智能体识别到任务与「网页转文档」相关后,会依次抓取页面、提取正文、转换格式、保留来源。最终交付Markdown 文档,并在末尾列出需要人工确认的内容。你的工作是对照原始网页地址抽查两三处关键信息,确认无误后再使用。
测试与验收
对每个节点单独写测试,再跑一次端到端用例。
针对这个技能,还建议额外准备:
- 一份信息齐全的标准网页地址,检查输出是否完整
- 一份缺少关键信息的输入,检查智能体是否先提问而不是编造
- 一份包含“忽略以上规则”等字样的输入,检查约束是否仍然有效
常见坑
- 一开始就设计复杂的多节点图,调试成本高。
- 工具 docstring 缺失,模型不知道如何使用。
- 只写了步骤,没写交付格式,导致每次输出的Markdown 文档结构不同。
- 没有给出样例,智能体对“好结果”的理解与你不一致;在参考资料里放一两份范例会明显改善。
延伸阅读
- 网页转文档 · 测试用例
- 网页转文档 · 极简与进阶
- 网页转文档 · 定制指南
- 网页截图报告 · LangChain / LangGraph 工具 版
- 网站可用性检查 · LangChain / LangGraph 工具 版
- 智能体Skills 分类:625 个技能 × 32 个角度
说明:文中的配置、代码与目录结构均为示意,用于说明思路;各平台的入口、字段名与能力会更新,落地前请以对应官方文档为准。示例中的数据与场景为虚构,不代表真实案例。