Arize Phoenix 是一款开源项目：开源的大模型可观测与评测工具。

这篇写给数据分析师：围绕取数与 SQL、清洗与可视化和分析报告这几类日常工作，说明它能帮上什么忙、怎么用、哪些地方必须自己把关。

数据分析师的三个高频用法

1. 取数与 SQL

提示词示例：

根据表结构写 SQL：按月统计新增用户与 7 日留存，说明关联条件、时间口径和可能的重复计数问题。

把关：口径说明清楚。

2. 清洗与可视化

提示词示例：

检查这份数据的质量：缺失、重复、异常值和格式问题，给出处理方案，并说明每种处理对结论的影响。

把关：说明了处理影响。

3. 分析报告

可直接复制到 Phoenix 里修改：

根据分析结果写一页报告：结论先行、3 个关键发现、1 张建议图表、局限性和下一步建议。

把关：结论有数据支撑。

也可以试试：数据清洗方案

这是「数据与分析」类工具的通用任务，数据分析师同样用得上。

分析这份数据的质量问题：缺失值比例、异常值、格式不一致的字段，给出处理建议，并说明每种处理方式对结论的影响。

边界与合规

确认指标口径，敏感数据脱敏后再交给 AI 处理。

  • 产出由数据分析师本人负责，AI 只是草稿和辅助。
  • 对外内容发布前至少看一遍。
  • 如单位有规定的工具清单，优先在清单内选择；Arize Phoenix 的同类还有 Langfuse、LangSmith。

一周试用建议

选一个最常做的任务连续用 5 个工作日，记录每次节省的时间和需要修改的地方，再决定是否把 Phoenix 纳入日常流程。

更多可以试的用法

评测大模型应用

适用情况：手头有一批真实用户问题和应用回答时。

为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。

验收标准：评分标准清晰可复用。

自然语言问数

适用情况：手头有一张销售明细表时。

请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。

检查点：给出了可复核的计算过程。

指标异动解读

输入：一个突然下降的业务指标。

日活本周下降了，请列出可能原因的排查清单，按「数据问题 / 产品变化 / 外部因素」分类，每项写明需要查看的数据。

检查点：先排查数据本身问题。

常见问题：AI 算出的数字和报表不一致

检查口径和过滤条件，要求它输出 SQL 或公式逐步复核。

常见问题：生成的 SQL 运行报错

提供准确的表结构和字段说明，先在测试库运行。

常见问题：问数结果看似合理但错误

准备几道已知答案的问题做抽检。

概念补充：文本转 SQL

把自然语言问题转换为数据库查询语句。

概念补充：评测集

用于反复检验模型或应用效果的标准问题集合。

适合人群：新媒体运营

新媒体运营可以用 Phoenix 处理内容排期、数据复盘等工作。需要注意：活动规则与奖品说明要准确，避免诱导分享等违规玩法。

写在最后

涉及个人信息、商业机密或受监管数据时，先确认 Arize Phoenix 的数据处理条款，再决定能否使用。

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

延伸阅读