特征

🤗 拥抱 面部整合 - 使用任何HuggingFace装饰器模型
🔌 可选插件 - 只有当您需要真正的标识时才安装
📦 0 配置 - 与 @chonkiejs/ core自动工作
⚡ 逐步增强 - 核心工作没有它,更好用它

安装

安装方式 npm数字 :

npm i @chonkiejs/token @chonkiejs/core

安装方式 pnpm数字 :

pnpm add @chonkiejs/token @chonkiejs/core

安装方式 yarn数字 :

yarn add @chonkiejs/token @chonkiejs/core

安装方式 bun数字 :

bun add @chonkiejs/token @chonkiejs/core

快速启动

只需同时安装此软件包 @chonkiejs/core,然后使用标识器名称:

import { RecursiveChunker, TokenChunker } from '@chonkiejs/core';

// Use GPT-2 tokenization (automatically uses @chonkiejs/token)
const chunker = await RecursiveChunker.create({
  tokenizer: 'Xenova/gpt2',
  chunkSize: 512
});

const chunks = await chunker.chunk('Your text here...');

支持的模式

任何来自变压器的HuggingFace型号.js:

• Xenova/gpt2
• Xenova/gpt-4
• bert-base-uncased
• google-bert/bert-base-multilingual-cased
• 还有更多!

见: https://huggingface.co/ models?library=transfers.js (中文(简体) )

用法实例

与递归猎人

import { RecursiveChunker } from '@chonkiejs/core';

const chunker = await RecursiveChunker.create({
  tokenizer: 'Xenova/gpt2',
  chunkSize: 512
});

const chunks = await chunker.chunk('Your document...');

和托肯彻克

import { TokenChunker } from '@chonkiejs/core';

const chunker = await TokenChunker.create({
  tokenizer: 'bert-base-uncased',
  chunkSize: 256,
  chunkOverlap: 50
});

const chunks = await chunker.chunk('Your text...');

直接切换器使用

import { HuggingFaceTokenizer } from '@chonkiejs/token';

const tokenizer = await HuggingFaceTokenizer.create('Xenova/gpt2');

const count = tokenizer.countTokens('Hello world!');
const tokens = tokenizer.encode('Hello world!');
const text = tokenizer.decode(tokens);

console.log(`Token count: ${count}`);

如何运作

当你打电话 Tokenizer.create('gpt2') 在 @chonkiejs/分数中:

1. 核心尝试动态导入 @chonkiejs/token
2. 如果安装: 使用套接字
3. 如果没有安装: 显示帮助错误消息

这保持了核心轻量级,同时在需要的时候允许高级地标化!

捐款

想帮忙种姜子吗? 检查出来 捐款额 开始吧! 无论是修复错误,添加特性,改进文件,还是简单地在回放上留下一个"Q",每一份贡献都有助于让Chonki成为每个人更好的CHONK.

记住:对于这个小河马来说,任何贡献都不算太小!