先说清楚它是什么：Arize Phoenix 属于「数据与分析」方向的开源项目，开源的大模型可观测与评测工具。

这篇不讲概念，直接给能复制修改的模板，以及每个模板该怎么填。

模板怎么用

每个模板都由三部分组成：背景（你是谁、要做什么）、约束（格式、篇幅、禁止事项）、验收（怎样算合格）。把方括号里的内容换成你自己的信息即可。

模板 1：自然语言问数

适合：一张销售明细表。

请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。

填写提示：把你最看重的一条要求放在最前面；验收看「给出了可复核的计算过程」。

模板 2：写 SQL 查询

适合：数据库表结构说明。

根据以下表结构写 SQL：统计每个月新增用户数和其中完成首单的比例。请说明关联条件和可能存在的口径问题。

填写提示：把你最看重的一条要求放在最前面；验收看「说明了口径问题」。

模板 3：图表建议

适合：一组需要汇报的数据。

根据这些数据推荐合适的图表类型，说明理由，并指出容易误导读者的画法（如截断坐标轴）。

填写提示：先用一份小样本试跑，再处理完整材料；验收看「指出了误导风险」。

模板维护

  • 给每个模板编号并记录修改日期。
  • 保留一份「效果好」的示例输出作为对照。
  • 团队共用时注明适用场景和负责人。

更多可以试的用法

指标异动解读

准备材料：一个突然下降的业务指标。

日活本周下降了，请列出可能原因的排查清单，按「数据问题 / 产品变化 / 外部因素」分类，每项写明需要查看的数据。

检查点：先排查数据本身问题。

评测大模型应用

准备材料：一批真实用户问题和应用回答。

为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。

检查点：评分标准清晰可复用。

数据清洗方案

适用情况：手头有一份有缺失和异常值的数据时。

分析这份数据的质量问题：缺失值比例、异常值、格式不一致的字段，给出处理建议，并说明每种处理方式对结论的影响。

检查点：说明了处理对结论的影响。

常见问题：敏感数据暴露给模型

使用脱敏视图或只读账号，限制可访问的表。

常见问题：问数结果看似合理但错误

准备几道已知答案的问题做抽检。

常见问题：图表结论被过度解读

区分相关与因果，在报告中标注假设。

概念补充：文本转 SQL

把自然语言问题转换为数据库查询语句。

概念补充：异常检测

自动发现偏离正常范围的数据点。

适合人群：咨询顾问

咨询顾问可以用 Phoenix 处理行业研究、访谈整理等工作。需要注意：客户机密遵守保密协议，研究结论注明来源。

注意事项

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

本文基于 Arize Phoenix 公开的定位与通用用法编写，具体功能、套餐与可用地区以官方页面为准，产品更新后界面和名称可能变化。

延伸阅读