# @agentskit/eval 中文文档

规范地址：https://npmcn.com/package/%40agentskit/eval/

版本：0\.7\.0
npm 元数据更新时间：2026-10-10T14:12:07.863Z
中文译文更新时间：2026-11-05T22:49:22.881Z
软件包许可：MIT

本文由上游 README 翻译，可能存在偏差，请结合原文核对 API、命令与配置。版权与许可归原作者所有。

原始 npm 页面：https://www.npmjs.com/package/%40agentskit/eval
原文对照：https://npmcn.com/package/%40agentskit/eval/?lang=original
项目主页：https://www.agentskit.io/docs/reference/packages/eval
源码仓库：https://github.com/AgentsKit-io/agentskit

## 关键信息（来自 npm 元数据）

- 包体积（解压后）：575 kB，86 个文件
- 模块格式：ESM + CJS
- TypeScript 类型：包内自带
- Node.js 要求：\>=20\.19
- 运行依赖：2 个
- peer 依赖：braintrust ^3\.21\.0
- 首次发布：2026-04-06T14:28:04.311Z
- 最新版本发布：2026-10-10T14:12:07.500Z
- 近 30 天下载量：10794（2026-10-05 至 2026-11-03，npm 官方下载统计）
- 已发布版本数：41（近 12 个月 41 个）

## 中文简介

代理评价和基准 代理Kit.

## 安装

```sh
npm install @agentskit/eval
```

也可以使用：`pnpm add @agentskit/eval`、`yarn add @agentskit/eval`、`bun add @agentskit/eval`

## README

# @ agentskit/ eval (英语)

简介 : `concise-package`

![AgentsKit](https://raw.githubusercontent.com/AgentsKit-io/agentskit/main/apps/docs-next/public/brand/logo-wordmark.svg)

以数字衡量剂质量,而不是气息——有自信的船.

[![npm version](https://img.shields.io/npm/v/@agentskit/eval?color=blue)](https://www.npmjs.com/package/@agentskit/eval) [![npm downloads](https://img.shields.io/npm/dm/@agentskit/eval)](https://www.npmjs.com/package/@agentskit/eval) [![bundle size](https://img.shields.io/bundlejs/size/@agentskit/eval?label=bundle)](https://bundlejs.com/?q=@agentskit/eval) [![license](https://img.shields.io/badge/license-MIT-blue.svg)](https://npmcn.com/package/LICENSE) [![stability](https://img.shields.io/badge/stability-beta-yellow)](https://npmcn.com/package/docs/STABILITY.md) [![GitHub stars](https://img.shields.io/github/stars/AgentsKit-io/agentskit?style=social)](https://github.com/AgentsKit-io/agentskit)

**标记 :** `ai` • 妇女 `agents` • 妇女 `llm` • 妇女 `agentskit` • 妇女 `ai-agents` • 妇女 `eval` • 妇女 `evaluation` • 妇女 `benchmarking` • 妇女 `testing` • 妇女 `ci-cd` • 妇女 `llm-testing`

## 已核实的证据

-   软件包元数据和测试在 `packages/eval/`。 。 。 .
-   软件包指南 : [https://www.agentskit.io/docs/参考资料/packages/eval](https://www.agentskit.io/docs/reference/packages/eval)
-   稳定地图: [文件/服务.md](https://npmcn.com/package/docs/STABILITY.md)

## 如何适应生态系统

@agentskit/eval是质量层:重放代理运行,比较输出,快照行为,在用户之前抓取回归.

-   **探员Kit**:与本回购中的其他包一起作曲,从可互换的小零件来构建代理.
-   **书记官处**: 查找已使用此图层的即时代理和模板 [登记. agentskit.io](https://registry.agentskit.io/)。 。 。 .
-   **游戏本**: 学习本层背后的生产模式 [游戏本. agentskit.io](https://playbook.agentskit.io/)。 。 。 .

文档 : [软件包指南](https://www.agentskit.io/docs/reference/packages/eval) • 妇女 [代理交接](https://github.com/AgentsKit-io/agentskit/blob/main/llms.txt)

## 为什么爱瓦尔

-   **用真正的衡量标准取代“似乎可行”** 准确性、每个案件的延迟性、可选的符号使用,以及单个结果对象每个测试案例的通过/失败
-   **CI/CD 备妥** ——出站代码反映套接字结果;门在精度阈值上布置,使回归永远无法被生产
-   **灵活主张** ——用自定义进行子字符串匹配或完全控制 `(result) => boolean` 每个案件的上游
-   **提供者不可知论** - 那个 `agent` 关闭可以覆盖任意同步边界 : `createRuntime`,自定义控制器,或 HTTP 端点
-   **失败隔离** ——反应不当,代理失败,断言失败成为失败案例而未终止套件

## 安装

```bash
npm install @agentskit/eval
```

## 快速实例

```ts
import { runEval } from '@agentskit/eval'
import { createRuntime } from '@agentskit/runtime'
import { anthropic } from '@agentskit/adapters'

const runtime = createRuntime({
  adapter: anthropic({ apiKey: process.env.ANTHROPIC_API_KEY, model: 'claude-sonnet-4-6' }),
})

const result = await runEval({
  agent: async (input) => {
    const r = await runtime.run(input)
    return r.content
  },
  suite: {
    name: 'qa-baseline',
    cases: [
      { input: 'What is 2+2?', expected: '4' },
      { input: 'Capital of France?', expected: 'Paris' },
      { input: 'Is TypeScript a superset of JavaScript?', expected: (r) => r.toLowerCase().includes('yes') },
    ],
  },
})

console.log(`Accuracy: ${(result.accuracy * 100).toFixed(1)}%`)
console.log(`Passed: ${result.passed}/${result.totalCases}`)
```

## 特征

-   `runEval({ agent, suite })` 运行一个命名的测试套件以对抗任何代理功能
-   结果 : `{ accuracy, passed, totalCases, cases[] }` 个案延迟和结果
-   请求模式:精确匹配, `includes`,自定义上游
-   CI 出站代码——输油管标注故障时为零
-   与 `@agentskit/observability` 以追踪失败的案例

## 结果记录

使用 `@agentskit/eval/provenance` 在不运行代理的情况下保留基准身份和衡量标准:

```ts
import { createResultRecord, serializeResultRecord, verifyResultRecord, precisionRecall } from '@agentskit/eval/provenance'

const record = createResultRecord({
  suiteId: 'baseline',
  caseSetDigest: 'a'.repeat(64), // SHA-256 of the frozen cases
  subject: { revision: 'revision-1', digest: 'b'.repeat(64) },
  runnerVersion: '1',
  metrics: { measured: 2, unavailable: 1, invalid: 0, ...precisionRecall({ tp: 3, fp: 1, fn: 2 }) },
})
const saved = serializeResultRecord(record)
verifyResultRecord(JSON.parse(saved)) // true
```

`ResultRecordInput` 需要不为空 `suiteId`, (中文(简体) ), `subject.revision`,以及 `runnerVersion`, (中文(简体) ), 小写64字符 SHA-256 `caseSetDigest` 财务报告和审定财务报表 `subject.digest`和 JSON 参数 对象(`ResultMetric` 支持嵌入式阵列和对象。 创建快照输入 . `ResultRecord` 添加 `digest`: SHA-256,UTF-8 RFC 8785 Canonic JSON 所有输入 字段除外 `timestamp`. 序列化包括摘要和可选时间戳. 关闭字节相同的重跑时间戳; 更改它不会使摘要失效 . Core 的 Canonic JSON 语义应用: 未定义的对象字段被省略, 未定义 数组条目变为无效,非无限数字和周期被否决.

`verifyResultRecord(unknown)` 返回错误的出处或错配 消化,不要扔东西。 它检查完整性,而不是真实性,或者是否提供了 修订和文摘对应真实的文物. 能够重写记录的一方 并且其摘要可以产生另一个有效的记录.

`precisionRecall({ tp, fp, fn })` 接受非负式安全整数并返回 `{ precision, recall }` 内 `[0, 1]`。零分母输出为零。 计算和单位 结果可以直接被存储在度量衡中;这些帮助者不会运行或判断案件.

## 决定重放

导入录音、回放、磁带序列化、时间旅行和比较 `@agentskit/eval/replay`。该条目对节点、浏览器、博览会和React Industrial来说是安全的;浏览器和本地软件包条件不包括文件系统代码.

将磁带粘接到磁盘的节点应用程序应当导入 `saveCassette` 财务报告和审定财务报表 `loadCassette` 从明确的节点唯一的子路径:

```ts
import { createCassette } from '@agentskit/eval/replay'
import { saveCassette, loadCassette } from '@agentskit/eval/replay/io'

await saveCassette('./fixtures/session.json', createCassette())
const cassette = await loadCassette('./fixtures/session.json')
```

原节点出口自 `@agentskit/eval/replay` 继续提供兼容性。 浏览器和本地建筑保留这些导出名称如此类型,运行时会保持对齐,但只使用节点诊断来拒绝。 这些主机应该结合 `serializeCassette` 或者说 `parseCassette` 他们自己的存储 API.

`@agentskit/eval/snapshot` 财务报告和审定财务报表 `@agentskit/eval/ci` 是面向节点的子路径,因为它们会写入文件并检查 CI 环境变量。 纯粹的比较帮助器在可以捆绑其条目的任何地方仍然可以调用,但浏览器应用程序不应该依赖于其文件系统的工作流程.

重放边界快照磁带、请求、块、日期和普通元数据。 更改直播请求或重放块不会重写录制的磁带 .

## 大脑信任生命周期

`@agentskit/eval/braintrust` 计算本地的分数。 何时 `BRAINTRUST_API_KEY` 或者说 `options.apiKey` 正在出现,它懒散地初始化了Braintust, 等待每一个实验日志,冲出实验,然后总结. 非致命的 SDK 故障按限定值返回 `result.warnings`;当地案件和摘要仍可提供.

默认排除了远程大小写字段 。 使用 `options.upload` 以明确允许选定的输入、输出、预期或元数据字段; 选定的数值上限为 `maxFieldBytes` (default 4096),和运行级元数据遵循相同的允许列表.

自定义计分器结果在运行时验证. 外部名称或分数不正确 `[0, 1]` 变成孤立 `scorer_error` 而不是腐蚀整体.

## 生态系统

| 软件包 | 作用 |
| --- | --- |
| [@ agentskit/ 运行时间](https://www.npmjs.com/package/@agentskit/runtime) | 正在测试的典型剂 |
| [@ agentskit/ 核心](https://www.npmjs.com/package/@agentskit/core) | 稳定一/O型机床合同 |
| [@ agentskit/ 可观察性](https://www.npmjs.com/package/@agentskit/observability) | 失败的线索 |

## 贡献者

[![AgentsKit contributors](https://contrib.rocks/image?repo=AgentsKit-io/agentskit)](https://github.com/AgentsKit-io/agentskit/graphs/contributors)

## 许可证

麻省理工学院——见 [自由主义](https://npmcn.com/package/LICENSE)。 。 。 .

## 文档

[完整文档](https://www.agentskit.io/) • 妇女 [GitHub 图像](https://github.com/AgentsKit-io/agentskit)

## 成熟性和相容性

-   稳定性: **β 语录** 看到了吗 [文件/服务.md](https://npmcn.com/package/docs/STABILITY.md)
-   **节点.js 20+** 财务报告和审定财务报表 **类型脚本** 严格模式
-   发表于 `@agentskit/eval`

## 捐款

见 [捐款额](https://npmcn.com/package/CONTRIBUTING.md) 单曲 [自由主义](https://npmcn.com/package/LICENSE)。 。 。 .

## 常见问题

### @agentskit/eval 是什么？

代理评价和基准 代理Kit\.

### 如何安装 @agentskit/eval？

在项目目录运行 npm install @agentskit/eval，或使用 pnpm add / yarn add / bun add。

### @agentskit/eval 支持 TypeScript 吗？

支持。包内自带 TypeScript 类型声明（package\.json 声明了 types 入口），安装后即可获得类型提示，无需再安装 @types 包。

### @agentskit/eval 支持 ESM 还是 CommonJS？

同时提供 ES Module 与 CommonJS 入口，import 和 require\(\) 都可以使用，打包工具会自动选择合适的版本。

### @agentskit/eval 需要什么版本的 Node\.js？

package\.json 的 engines 字段要求 Node\.js \>=20\.19。版本不符时 npm 默认只给出警告，开启 engine-strict 后会拒绝安装。

### @agentskit/eval 可以商用吗？

@agentskit/eval 使用 MIT 许可。宽松许可：允许商业使用、修改和再分发，通常只需在分发时保留原版权与许可声明。以上为概括，不构成法律意见，请以许可原文为准。

### @agentskit/eval 的下载量有多少？

根据 npm 官方下载统计，@agentskit/eval 在 2026/10/05 – 2026/11/03 这 30 天内被下载 10,794 次，日均约 360 次。下载量会把 CI 构建、镜像同步和作为其他包依赖的安装一并计入，适合横向比较热度，不能直接等同于使用人数。

### @agentskit/eval 还在维护吗？

最新版本 0\.7\.0 发布于 2026/10/10（26 天前）；至今共发布 41 个版本，其中过去 12 个月发布了 41 个；首次发布于 2026/04/06。发布频率只是参考信号：功能稳定的工具可能很少需要更新，建议结合源码仓库的 issue 和提交记录判断。