@anush008/tokenizers (助推器)

官方的节点装订在了对节点版本和架构的有限支持的inx中. 此软件包提供了用于 @huggingface/助推器 支持节点 v20.x.

支持 :

• 视窗 x86 64
• Linux x86 64 (滑翔、 粘土/ 高山)
• Linux arch64 (glibc, musl/ 阿尔卑斯语)
• macOS x86 64
• macOS arch64 (阿普尔硅)
• macOS 通用二进制

安装

npm install @anush008/tokenizers

特征

• 使用4个预制的标致器(Bert WordPiece 和 3)来训练新的词汇并进行符号化 最常见的BPE版本).
• 极快(培训和象征性),得益于Rust的执行。 带 在服务器的CPU上,不到20秒就表示一个GB文本.
• 容易使用,但也极其多才多艺.
• 为研究和生产而设计.
• 正常化伴随着对齐跟踪. 总是有可能的 与给定的符号对应的原始句子.
• 是否所有的预处理: Truncate, Pad, 添加您模型所需的特殊符号 .

基本实例

import { Tokenizer } from "@anush008/tokenizers";

const tokenizer = await Tokenizer.fromFile("tokenizer.json");
const wpEncoded = await tokenizer.encode("Who is John?");

console.log(wpEncoded.getLength());
console.log(wpEncoded.getTokens());
console.log(wpEncoded.getIds());
console.log(wpEncoded.getAttentionMask());
console.log(wpEncoded.getOffsets());
console.log(wpEncoded.getOverflowing());
console.log(wpEncoded.getSpecialTokensMask());
console.log(wpEncoded.getTypeIds());
console.log(wpEncoded.getWordIds());

许可证

麻省理工学院