@ antseed/ 型号验证器
检查端点背后的模型是否是它声称的模型. 有用吗 与 OpenAI 或 Anthropic 兼容的端点: 通过本地端点的 Antseed 端点 买主代理,另一个网络,或提供商自己的API.
它使用"知识边界"指印(KBF). 已公布的参考文献有数字 真实的模型答案一致 更便宜的替代品 错误,加上真正的模型自己的错误率。 审计发出新的随机 子集按新顺序排列,并有不同的即时措辞,并运行一面二进制 测试端点的不匹配 与诚实的错误率.
VERIFY_API_KEY=... npx antseed-verify \
--base-url https://openrouter.ai/api/v1 \
--model meta-llama/llama-3.3-70b-instruct \
--reference ./llama-3.3-70b.kbf.json
| 判决 | 含义 | 退出代码 |
|---|---|---|
SAME | 在参考文献的统计能力方面没有替代证据 | 0 个 |
DIFF | 比真正的模型更不匹配 | 2个 |
UNDETERMINED | 并不是每个调查都能得到判断(与链上审计相同的规则) | 3个 |
不回答任何请求(错误的密钥、 URL 或 model id) 的终点是一个错误
(出 1) 有原因的,不是判决. 公布的审计从ipfs.io,然后
如果有一个费率限制,其他公共网关; --ipfs-gateway 针一.
为了重用公布的Antseed模型审计的探测器,通过 --audit ipfs://<cid>
改为 --reference核查人对照其散列和
使用审计公布的最大KBF参考. antseed verifier check <model>
(单位:千美元) @antseed/cli为您找到最新的链上审计.
在调查前 审计研究了如何关闭终点隐藏的推理,
正如 KBF 每一个终点的参考代码一样: 它尝试 reasoning: {effort: "none"}, (中文(简体) ),
reasoning: {effort: "minimal"}, (中文(简体) ), thinking: {type: "disabled"}, (中文(简体) ), enable_thinking: false, (中文(简体) ),
(单位:千美元) <think></think> 预先填充(只限填充),没有填充,每组填入一个固定的十个问题,
并保持第一个给出至少5个答案,没有推理符号. 一个终点
认为无论寄出什么,都会得到50倍的象征性预算(每个请求40,000个令牌).
结果 thinkingDiscovery 记录尝试; discoverThinking: false 发送
参考的压制代替.
使用 --protocol anthropic 对于信件- API 端点, --out audit.json 保留
原始请求和响应字节,以及 --json 用于机器可读输出.
参考资料以内容为准: referenceId 这是参考文献的散文,
财务报告和审定财务报表 loadReference 拒绝内容不符的人。 构建参考文献
与 antseed verifier reference (单位:千美元) @antseed/cli) (中文(简体) ).
图书馆
import { auditEndpoint, loadReference, OpenAIChatEndpoint, resolveAuditReference } from '@antseed/model-verifier'
const result = await auditEndpoint({
endpoint: new OpenAIChatEndpoint({ baseUrl, apiKey }),
reference: await loadReference('ipfs://<cid>'),
})
console.log(result.evaluation.verdict)
// Or reuse the reference of a published Antseed audit:
const { reference } = await resolveAuditReference('ipfs://<audit-cid>')
任何运输都可通过实施 ModelEndpoint,这样任何人都可以重新检查
a 一个 AntseedKbfVerification 对照其公布的证据进行审计.