@b4run/ evals (英语)

支持评价定义,数据集,计分器,报告,并为B4.run应用行为发布出门.

当 : 您正在定义可重复的评价, 计分器, 或为 B4. run 应用程序释放出门 .

安装

pnpm add -D @b4run/evals @b4run/testing

示例

import { contains, defineEval, gate, runEval } from "@b4run/evals"
import { createAgentHarness, script } from "@b4run/testing"

const evaluation = defineEval({
  name: "support replies",
  route: "/support#agent",
  dataset: [
    {
      input: "Where is my order?",
      fixtures: script()
        .user("Where is my order?")
        .replies("Your order is in transit."),
    },
  ],
  scorers: [contains("order", { threshold: 1 })],
  gate: gate.perScorer(),
})

await using harness = await createAgentHarness({
  appRoot: process.cwd(),
  route: "/support#agent",
})
const report = await runEval(evaluation, {
  runCase: async (testCase) => {
    if (typeof testCase.input !== "string") throw new TypeError("Expected string input")
    return harness.run({
      input: testCase.input,
      ...(testCase.fixtures !== undefined ? { fixtures: testCase.fixtures } : {}),
    })
  },
})

运行时间和稳定性

@b4run/evals 是一个支持的节点测试表面,因为它从磁盘中解决了JSON和JSONL数据集. 决定代理运行来自 @b4run/testing;计分器代码仍然在回放,记录和活模式中执行. llmJudge() 需要固定的、示范的证书或注入的获取执行.

相关

• Evals API 参考文献 准确的计分员,跑者,和门的语义.
• 爱德华 ——应用评价工作流程.
• @b4run/testing 财务报告和审定财务报表 固定和记录 ——定型模式调用.

成熟和支持

B4.run为1.0前置,其公用地表可以改变. 所有可公布的 B4. 运行包作为一个固定组一起发布; 审查 @b4run/evals 更改日志 财务报告和审定财务报表 升级指南 升级前。 用于支持, 使用 GitHub 讨论; 报告缺陷 GitHub 问题。 。 。 .

许可证

麻省理工学院. 见 仓库许可证。 。 。 .