在「智能体与自动化」类工具里，Langfuse 的定位是：开源的大模型应用观测、追踪与评测平台。

用 AI 最容易犯的错是「看着不错就用了」，这篇给出一张可复用的打分表。

评分表（每项 1 到 5 分）

维度看什么1 分5 分
成功率一批测试任务中完全正确完成的比例明显不合格无需修改即可使用
稳定性同样输入多次运行结果是否一致明显不合格无需修改即可使用
安全性是否有越权操作或数据外泄风险明显不合格无需修改即可使用
成本单次运行的调用次数与费用明显不合格无需修改即可使用
可排查性失败时能否快速定位到具体步骤明显不合格无需修改即可使用

建议：任一维度低于 3 分就不要直接使用；总分用于比较不同提示词或不同工具的效果。

用一个任务试打分

线索整理流程

准备材料：每天从表单收到的客户咨询。

搭建一个流程：新表单提交后，AI 判断咨询类型（报价 / 售后 / 合作 / 其他），提取联系人和需求摘要写入表格，报价类自动通知销售群。分类不确定时标记为「待人工」。

验收标准：不确定的情况进入人工。

怎么让评分更可靠

  • 同一批材料至少测 5 次，不只看最好的一次。
  • 两人分别打分，分歧大的维度再讨论标准。
  • 把 Langfuse 的结果与人工完成或 Helicone 的结果放在一起盲评。
  • 每次改提示词后用同一批材料复测。

补充练习

定时提醒与汇总

输入：团队群聊或任务看板。

每天下午 6 点汇总今日新增和逾期任务，按负责人分组发送提醒，周五额外输出一周完成情况。

交付前确认：提醒内容与看板一致。

竞品信息周报

准备材料：5 个竞品的公开网站或博客。

每周一自动抓取这些竞品页面的更新，让 AI 对比上周内容，输出「新增功能 / 价格页面变化 / 新发布文章」三段摘要，并附原始链接。

交付前确认：每条变化都附链接。

多步骤调研任务

适用情况：手头有一个需要多来源信息的问题时。

围绕【主题】做调研：先列出调研计划，再分别检索，最后输出带来源的报告。每个结论注明来源链接，来源之间矛盾时并列呈现。

验收标准：矛盾信息被并列呈现。

常见问题：误发消息给客户

对外发送前加人工审批节点，测试环境与正式环境分开。

常见问题：输出格式不稳定

要求结构化输出并做格式校验，不合格时重试。

常见问题：智能体陷入循环

设置最大步数和超时，关键步骤改为固定工作流。

概念补充：可观测性

记录每一步输入输出与耗时，便于排查和评估。

概念补充：触发器

启动流程的事件，如新邮件、定时、表单提交。

适合人群：数据分析师

数据分析师可以用 Langfuse 处理取数与 SQL、清洗与可视化等工作。需要注意：确认指标口径，敏感数据脱敏后再交给 AI 处理。

写在最后

文中提示词和示例仅作示意，实际效果取决于你的材料和 Langfuse 当前版本，重要内容请人工核对后再使用。

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

延伸阅读