Anthropic 类型脚本调试器

这个软件包提供了一个方便的方法来检查一个特定的文本片段会有多少个符号.

安装

npm install --save @anthropic-ai/tokenizer
# or
yarn add @anthropic-ai/tokenizer

使用量

import { countTokens } from '@anthropic-ai/tokenizer';

function main() {
  const text = 'hello world!';
  const tokens = countTokens(text);
  console.log(`'${text}' is ${tokens} tokens`);
}
main();

状态

这个包在β. 它的内部和接口不稳定 并且不会发生重大闪烁; 如果你依赖于任何无证行为 请伸出手来.

我们很期待你的反馈,请发电子邮件给我们 支持@ harmanic.com 或打开问题、错误或建议.

所需资源

支持以下运行时间:

• 节点.js 第12版以上.
• Deno v1.28.0或更高(实验性). 使用 import { countTokens } from "npm:@anthropic-ai/tokenizer"。 。 。 .

如果您对其它运行时间环境感兴趣, 请在 GitHub 上打开或投票 .