先说清楚它是什么：Arize Phoenix 属于「数据与分析」方向的开源项目，开源的大模型可观测与评测工具。

这篇写给软件工程师：围绕代码阅读与重构、测试与排错和技术文档这几类日常工作，说明它能帮上什么忙、怎么用、哪些地方必须自己把关。

软件工程师的三个高频用法

1. 代码阅读与重构

可直接复制到 Phoenix 里修改：

先不要改代码。阅读这个模块，画出主要函数的调用关系，指出可以安全重构的部分和风险点，再给出分步重构计划。

把关：先计划后改动。

2. 测试与排错

可直接复制到 Phoenix 里修改：

这是失败的测试输出和相关代码，请定位原因，给出最小修复，并补一个能防止回归的测试用例。

把关：修复后测试通过。

3. 技术文档

提示词示例：

根据这段代码和注释生成接口文档：参数、返回值、错误码、调用示例，示例必须能直接运行。

把关：示例代码可运行。

也可以试试：数据清洗方案

这是「数据与分析」类工具的通用任务，软件工程师同样用得上。

分析这份数据的质量问题：缺失值比例、异常值、格式不一致的字段，给出处理建议，并说明每种处理方式对结论的影响。

边界与合规

不要把密钥和未开源代码上传到未授权工具，合并前审阅每处改动。

  • 产出由软件工程师本人负责，AI 只是草稿和辅助。
  • 对外内容发布前至少看一遍。
  • 如单位有规定的工具清单，优先在清单内选择；Arize Phoenix 的同类还有 Langfuse、LangSmith。

一周试用建议

选一个最常做的任务连续用 5 个工作日，记录每次节省的时间和需要修改的地方，再决定是否把 Phoenix 纳入日常流程。

延伸练习

图表建议

适用情况：手头有一组需要汇报的数据时。

根据这些数据推荐合适的图表类型，说明理由，并指出容易误导读者的画法（如截断坐标轴）。

验收标准：指出了误导风险。

评测大模型应用

输入：一批真实用户问题和应用回答。

为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。

交付前确认：评分标准清晰可复用。

自然语言问数

准备材料：一张销售明细表。

请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。

验收标准：给出了可复核的计算过程。

常见问题：图表结论被过度解读

区分相关与因果，在报告中标注假设。

常见问题：生成的 SQL 运行报错

提供准确的表结构和字段说明，先在测试库运行。

常见问题：AI 算出的数字和报表不一致

检查口径和过滤条件，要求它输出 SQL 或公式逐步复核。

概念补充：文本转 SQL

把自然语言问题转换为数据库查询语句。

概念补充：评测集

用于反复检验模型或应用效果的标准问题集合。

写在最后

本文基于 Arize Phoenix 公开的定位与通用用法编写，具体功能、套餐与可用地区以官方页面为准，产品更新后界面和名称可能变化。

涉及个人信息、商业机密或受监管数据时，先确认 Arize Phoenix 的数据处理条款，再决定能否使用。

延伸阅读