把 Arize Phoenix 放进工作流:搭配工具与交接要点
Arize Phoenix 是一款开源项目:开源的大模型可观测与评测工具。
单独用一个工具往往只解决一段问题,这篇讲怎么把它和上下游工具串起来。
推荐组合:Arize Phoenix + Lindy
Lindy 的定位是:用自然语言搭建业务自动化 AI 助手的平台。两者分工可以是:Arize Phoenix 负责「自然语言问数」这一步,Lindy 负责把前后步骤串成自动化流程。
工作流步骤
- 明确交付物和验收标准,例如:给出了可复核的计算过程。
- 准备输入:一张销售明细表,先去掉敏感信息。
- 在 Arize Phoenix 中执行核心步骤(提示词见下文)
- 把结果交给 Lindy 做下一步处理,或从 Lindy 取得所需材料。
- 人工检查关键事实与格式,记录发现的问题。
- 把这次用到的提示词和设置保存为模板,下次复用。
自然语言问数
准备材料:一张销售明细表。
请基于这张表回答:上个季度销售额最高的 3 个地区是哪些?与前一季度相比变化多少?请同时给出你使用的计算方法或 SQL,便于我复核。
验收标准:给出了可复核的计算过程。
交接时最容易出问题的地方
- 格式不兼容:两边导入导出的格式提前测试一次。
- 信息丢失:每次交接附上来源和版本号。
- 责任不清:约定哪一步由谁做最终确认。
- 权限分散:两边的账号和分享范围分别检查。
如果暂时不想引入第二个工具,也可以先用 W&B Weave 等同类产品替代其中一环,跑通流程后再决定。
更多可以试的用法
评测大模型应用
准备材料:一批真实用户问题和应用回答。
为这批回答设计评测:定义 4 个评分维度,写出评分标准,抽取 20 条进行人工打分,并统计各维度的问题类型。
交付前确认:评分标准清晰可复用。
图表建议
准备材料:一组需要汇报的数据。
根据这些数据推荐合适的图表类型,说明理由,并指出容易误导读者的画法(如截断坐标轴)。
验收标准:指出了误导风险。
数据清洗方案
准备材料:一份有缺失和异常值的数据。
分析这份数据的质量问题:缺失值比例、异常值、格式不一致的字段,给出处理建议,并说明每种处理方式对结论的影响。
验收标准:说明了处理对结论的影响。
常见问题:AI 算出的数字和报表不一致
检查口径和过滤条件,要求它输出 SQL 或公式逐步复核。
常见问题:生成的 SQL 运行报错
提供准确的表结构和字段说明,先在测试库运行。
常见问题:问数结果看似合理但错误
准备几道已知答案的问题做抽检。
概念补充:评测集
用于反复检验模型或应用效果的标准问题集合。
概念补充:口径
指标的定义与计算规则,不同口径会得出不同结论。
适合人群:HR 与招聘
HR 与招聘可以用 Phoenix 处理岗位描述撰写、面试题与评估表等工作。需要注意:简历筛选不得以性别、年龄等因素做歧视性判断,候选人信息需妥善保管。
写在最后
涉及个人信息、商业机密或受监管数据时,先确认 Arize Phoenix 的数据处理条款,再决定能否使用。
本文基于 Arize Phoenix 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。