Arize Phoenix 是一款开源项目：开源的大模型可观测与评测工具。

当同一类任务每天重复出现时，就值得考虑把它接进自动化流程。

适合自动化的任务特征

  • 输入格式固定（同一种表单、文件或消息）
  • 判断规则可以写清楚。
  • 出错时可以被发现并人工补救。
  • 频率足够高，值得投入配置时间。

接入方式

Arize Phoenix 属于开源项目，通常可以直接在代码或自动化平台中调用。下面是通用的调用结构示意（字段名以官方文档为准）：

触发：新文件 / 新消息 / 定时
→ 预处理：去除敏感字段，截断过长内容
→ 调用：发送任务说明 + 材料，设置超时与重试
→ 校验：检查输出格式与必填字段
→ 分流：合格的写入目标系统，不合格的进入人工队列
→ 记录：保存请求编号、耗时与费用

示例：自动化里的核心指令

自然语言问数

准备材料：一张销售明细表。

请基于这张表回答：上个季度销售额最高的 3 个地区是哪些？与前一季度相比变化多少？请同时给出你使用的计算方法或 SQL，便于我复核。

验收标准：给出了可复核的计算过程。

上线前的风控

  • 对外发送的内容一律先进入人工审核。
  • 设置每日调用上限和费用告警。
  • 保留原始输入，便于出错时追溯。
  • 每周抽查一批自动处理结果。

更多可以试的用法

图表建议

输入：一组需要汇报的数据。

根据这些数据推荐合适的图表类型，说明理由，并指出容易误导读者的画法（如截断坐标轴）。

验收标准：指出了误导风险。

指标异动解读

适用情况：手头有一个突然下降的业务指标时。

日活本周下降了，请列出可能原因的排查清单，按「数据问题 / 产品变化 / 外部因素」分类，每项写明需要查看的数据。

检查点：先排查数据本身问题。

评测大模型应用

适用情况：手头有一批真实用户问题和应用回答时。

为这批回答设计评测：定义 4 个评分维度，写出评分标准，抽取 20 条进行人工打分，并统计各维度的问题类型。

验收标准：评分标准清晰可复用。

常见问题：问数结果看似合理但错误

准备几道已知答案的问题做抽检。

常见问题：图表结论被过度解读

区分相关与因果，在报告中标注假设。

常见问题：敏感数据暴露给模型

使用脱敏视图或只读账号，限制可访问的表。

概念补充：异常检测

自动发现偏离正常范围的数据点。

概念补充：口径

指标的定义与计算规则，不同口径会得出不同结论。

适合人群：电商运营

电商运营可以用 Phoenix 处理商品详情与主图、活动方案与客服话术等工作。需要注意：商品参数和促销规则必须与后台一致，避免虚假宣传。

适合人群：咨询顾问

咨询顾问可以用 Phoenix 处理行业研究、访谈整理等工作。需要注意：客户机密遵守保密协议，研究结论注明来源。

适合人群：科研人员

科研人员可以用 Phoenix 处理文献检索与阅读、实验记录与数据整理等工作。需要注意：遵守期刊和机构关于 AI 使用的披露要求，引用逐条核对。

使用提醒

所有示例输出均为示意，不代表真实统计或效果承诺；请以自己的测试结果为准。

涉及个人信息、商业机密或受监管数据时，先确认 Arize Phoenix 的数据处理条款，再决定能否使用。

延伸阅读