开源的大模型可观测与评测工具——这是 Arize Phoenix 最主要的用途，也是本文讨论的前提。

这篇写给负责在团队里引入它的人：账号、权限、数据和费用怎么管。

上线前

  • 固定版本号并记录配置。
  • 只在内网暴露服务或加上认证。
  • 设置日志与资源监控。
  • 订阅仓库的版本发布与安全公告。
  • 准备回滚方案。

制度与培训

  • 写一页使用规范：能做什么、不能上传什么、产出由谁负责。
  • 准备 3 个标准任务的示例，如「评测大模型应用」「图表建议」
  • 设立反馈渠道，收集好用的提示词和踩过的坑。
  • 每季度复查一次账号、权限与费用。

给成员的标准示例

评测大模型应用

输入：一批真实用户问题和应用回答。

为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。

验收标准：评分标准清晰可复用。

数据分级建议

  • 公开信息：可以直接使用。
  • 内部信息：在企业账号内使用，避免个人账号。
  • 机密信息：脱敏后使用或禁止使用。
  • 受监管数据（身份证号、病历、财务明细等）：除非有明确合规方案，否则不要输入。

补充练习

自然语言问数

适用情况：手头有一张销售明细表时。

请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。

检查点：给出了可复核的计算过程。

指标异动解读

适用情况：手头有一个突然下降的业务指标时。

日活本周下降了，请列出可能原因的排查清单，按「数据问题 / 产品变化 / 外部因素」分类，每项写明需要查看的数据。

检查点：先排查数据本身问题。

写 SQL 查询

适用情况：手头有数据库表结构说明时。

根据以下表结构写 SQL：统计每个月新增用户数和其中完成首单的比例。请说明关联条件和可能存在的口径问题。

交付前确认：说明了口径问题。

常见问题：生成的 SQL 运行报错

提供准确的表结构和字段说明，先在测试库运行。

常见问题：问数结果看似合理但错误

准备几道已知答案的问题做抽检。

常见问题：AI 算出的数字和报表不一致

检查口径和过滤条件，要求它输出 SQL 或公式逐步复核。

概念补充：评测集

用于反复检验模型或应用效果的标准问题集合。

概念补充：文本转 SQL

把自然语言问题转换为数据库查询语句。

适合人群：销售

销售可以用 Phoenix 处理客户背景调研、跟进邮件与话术等工作。需要注意：客户数据按公司规定处理，报价和承诺以合同为准。

适合人群：财务人员

财务人员可以用 Phoenix 处理单据识别录入、报表说明与分析等工作。需要注意：财务数据属于敏感信息，优先使用企业版或本地方案，结果需复核。

适合人群：新媒体运营

新媒体运营可以用 Phoenix 处理内容排期、数据复盘等工作。需要注意：活动规则与奖品说明要准确，避免诱导分享等违规玩法。

注意事项

文中提示词和示例仅作示意，实际效果取决于你的材料和 Phoenix 当前版本，重要内容请人工核对后再使用。

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

延伸阅读