用 Phoenix 前先懂这些概念
在「数据与分析」类工具里，Arize Phoenix 的定位是：开源的大模型可观测与评测工具。
看文档和设置项时遇到的术语，这里用一两句话解释清楚。
术语表
- 口径：指标的定义与计算规则，不同口径会得出不同结论。
- 文本转 SQL：把自然语言问题转换为数据库查询语句。
- 语义层：把业务指标定义统一管理，让 AI 查询时口径一致。
- 异常检测：自动发现偏离正常范围的数据点。
- 追踪（Tracing）：记录大模型应用每次调用的输入输出与耗时。
- 评测集：用于反复检验模型或应用效果的标准问题集合。
和 Arize Phoenix 相关的补充
- 开源项目：Arize Phoenix 的产品形态，决定了安装、权限和数据存放方式。
- 同类产品：Langfuse、LangSmith、W&B Weave。
- 所属方向：数据与分析。
把概念用起来
数据清洗方案
适用情况：手头有一份有缺失和异常值的数据时。
分析这份数据的质量问题：缺失值比例、异常值、格式不一致的字段，给出处理建议，并说明每种处理方式对结论的影响。
检查点：说明了处理对结论的影响。
延伸练习
评测大模型应用
输入：一批真实用户问题和应用回答。
为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。
验收标准：评分标准清晰可复用。
自然语言问数
输入：一张销售明细表。
请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。
验收标准：给出了可复核的计算过程。
写 SQL 查询
准备材料：数据库表结构说明。
根据以下表结构写 SQL：统计每个月新增用户数和其中完成首单的比例。请说明关联条件和可能存在的口径问题。
检查点：说明了口径问题。
常见问题：生成的 SQL 运行报错
提供准确的表结构和字段说明，先在测试库运行。
常见问题：问数结果看似合理但错误
准备几道已知答案的问题做抽检。
常见问题：敏感数据暴露给模型
使用脱敏视图或只读账号，限制可访问的表。
概念补充：语义层
把业务指标定义统一管理，让 AI 查询时口径一致。
概念补充：评测集
用于反复检验模型或应用效果的标准问题集合。
适合人群：财务人员
财务人员可以用 Phoenix 处理单据识别录入、报表说明与分析等工作。需要注意：财务数据属于敏感信息，优先使用企业版或本地方案，结果需复核。
适合人群：HR 与招聘
HR 与招聘可以用 Phoenix 处理岗位描述撰写、面试题与评估表等工作。需要注意：简历筛选不得以性别、年龄等因素做歧视性判断，候选人信息需妥善保管。
适合人群：软件工程师
软件工程师可以用 Phoenix 处理代码阅读与重构、测试与排错等工作。需要注意：不要把密钥和未开源代码上传到未授权工具，合并前审阅每处改动。
使用提醒
文中提示词和示例仅作示意，实际效果取决于你的材料和 Phoenix 当前版本，重要内容请人工核对后再使用。
涉及个人信息、商业机密或受监管数据时，先确认 Arize Phoenix 的数据处理条款，再决定能否使用。