W&B Weave 是一款在线服务：Weights & Biases 的大模型应用追踪与评测工具。

看文档和设置项时遇到的术语，这里用一两句话解释清楚。

术语表

  • 口径：指标的定义与计算规则，不同口径会得出不同结论。
  • 文本转 SQL：把自然语言问题转换为数据库查询语句。
  • 语义层：把业务指标定义统一管理，让 AI 查询时口径一致。
  • 异常检测：自动发现偏离正常范围的数据点。
  • 追踪（Tracing）：记录大模型应用每次调用的输入输出与耗时。
  • 评测集：用于反复检验模型或应用效果的标准问题集合。

和 W&B Weave 相关的补充

  • 在线服务：W&B Weave 的产品形态，决定了安装、权限和数据存放方式。
  • 同类产品：Langfuse、Phoenix、LangSmith。
  • 所属方向：数据与分析。

把概念用起来

评测大模型应用

适用情况：手头有一批真实用户问题和应用回答时。

为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。

验收标准：评分标准清晰可复用。

更多可以试的用法

写 SQL 查询

准备材料：数据库表结构说明。

根据以下表结构写 SQL：统计每个月新增用户数和其中完成首单的比例。请说明关联条件和可能存在的口径问题。

交付前确认：说明了口径问题。

图表建议

适用情况：手头有一组需要汇报的数据时。

根据这些数据推荐合适的图表类型，说明理由，并指出容易误导读者的画法（如截断坐标轴）。

检查点：指出了误导风险。

自然语言问数

输入：一张销售明细表。

请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。

验收标准：给出了可复核的计算过程。

常见问题：图表结论被过度解读

区分相关与因果，在报告中标注假设。

常见问题：问数结果看似合理但错误

准备几道已知答案的问题做抽检。

常见问题：生成的 SQL 运行报错

提供准确的表结构和字段说明，先在测试库运行。

概念补充：异常检测

自动发现偏离正常范围的数据点。

概念补充：评测集

用于反复检验模型或应用效果的标准问题集合。

适合人群：软件工程师

软件工程师可以用 Weave 处理代码阅读与重构、测试与排错等工作。需要注意：不要把密钥和未开源代码上传到未授权工具，合并前审阅每处改动。

适合人群：新媒体运营

新媒体运营可以用 Weave 处理内容排期、数据复盘等工作。需要注意：活动规则与奖品说明要准确，避免诱导分享等违规玩法。

适合人群：数据分析师

数据分析师可以用 Weave 处理取数与 SQL、清洗与可视化等工作。需要注意：确认指标口径，敏感数据脱敏后再交给 AI 处理。

写在最后

文中提示词和示例仅作示意，实际效果取决于你的材料和 Weave 当前版本，重要内容请人工核对后再使用。

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

延伸阅读