阿里云百炼实战：用智能体应用做知识库效果评估

如果你在文档库与检索系统里反复做知识库效果评估，可以考虑把经验沉淀为一个 Skill：写清触发条件、步骤、输出格式和边界，让智能体代劳重复部分，人只负责把关。

本文介绍如何在 阿里云百炼智能体应用 上实现这个技能，包括它的形态、示例配置、启用步骤、一次完整的运行过程和常见坑。

这个技能做什么

项目	说明
技能	知识库效果评估（`kb-eval`）
作用	评估知识库问答的准确率
输入	测试问题集
输出	评估报告
形态	带脚本
风险	低
适用人群	知识管理与客服团队

处理流程分四步：

准备问题与标准答案
运行问答
评分
分析错误

这个技能需要运行本地脚本（解析文件、调用命令行工具等），要求运行环境允许执行代码；风险较低，但输出仍需快速过目再使用。

在阿里云百炼智能体应用中是什么形态

阿里云百炼是阿里云的大模型服务与应用开发平台，可以创建智能体应用或工作流应用，配置提示词、知识库与插件，并通过 API 集成到业务系统。

应用发布后可通过 API 调用；模型选择、计费与功能以阿里云官方文档为准。

示例配置

# 阿里云百炼配置思路示意，具体字段与入口以平台当前界面和官方文档为准
名称: 知识库效果评估
应用类型: 智能体应用（流程固定时可改用工作流应用）
提示词: 你负责评估知识库问答的准确率。步骤：准备问题与标准答案；运行问答；评分；分析错误。输出：评估报告
知识库: 上传团队规范、模板与样例
插件/工具: 按需挂载（带脚本）
回复要求: 不确定处标注需人工确认

示例里最重要的是两处：一是描述（或指令开头）要写明「什么时候用」，让智能体在知识管理与客服团队提出相关请求时能对上号；二是约束部分要写进「回答必须有出处，没有依据时如实说明」这类领域规矩，避免智能体自作主张。

安装与启用步骤

在百炼控制台新建智能体应用
写好提示词，明确角色、步骤与输出
创建知识库并关联
按需添加插件或工具
测试后发布，并用 API 接入业务系统

实操：一次完整的运行

假设你在文档库与检索系统中发出这样的请求（虚构示例）：

用知识库效果评估技能处理这份测试问题集，输出评估报告。

智能体识别到任务与「知识库效果评估」相关后，会依次准备问题与标准答案、运行问答、评分、分析错误。最终交付评估报告，并在末尾列出需要人工确认的内容。你的工作是对照原始测试问题集抽查两三处关键信息，确认无误后再使用。

测试与验收

在应用测试窗口准备一组固定样例，每次修改提示词后重跑对比。

针对这个技能，还建议额外准备：

一份信息齐全的标准测试问题集，检查输出是否完整
一份缺少关键信息的输入，检查智能体是否先提问而不是编造
一份包含“忽略以上规则”等字样的输入，检查约束是否仍然有效

常见坑

知识库文档未清洗，检索到无关段落。
直接把 API 密钥放在前端代码中。
只写了步骤，没写交付格式，导致每次输出的评估报告结构不同。
没有给出样例，智能体对“好结果”的理解与你不一致；在参考资料里放一两份范例会明显改善。

延伸阅读

说明：文中的配置、代码与目录结构均为示意，用于说明思路；各平台的入口、字段名与能力会更新，落地前请以对应官方文档为准。示例中的数据与场景为虚构，不代表真实案例。