@ chonkiejs/ 分数
用于Chonkie的核心块化库 - 轻量级和高效的文本块化,零依赖性.
特征
✨ 简单清洁 API( C) - 易于使用OOP设计
⚡ 无依赖 - 最小,轻量级,快
🔤 基于字符 - 简单的符号化(1个字符=1个符号)
🎯 递归春金 智能的分层文本
📦 类型脚本第一 - 带有类型脚本的完整类型安全
安装
安装方式 npm数字 :
npm i @chonkiejs/core
安装方式 pnpm数字 :
pnpm add @chonkiejs/core
安装方式 yarn数字 :
yarn add @chonkiejs/core
安装方式 bun数字 :
bun add @chonkiejs/core
快速启动
import { RecursiveChunker } from '@chonkiejs/core';
// Create a chunker
const chunker = await RecursiveChunker.create({
chunkSize: 512,
minCharactersPerChunk: 24
});
// Chunk your text
const chunks = await chunker.chunk('Your text here...');
// Use the chunks
for (const chunk of chunks) {
console.log(chunk.text);
console.log(`Tokens: ${chunk.tokenCount}`);
}
可用的弹簧器
| 名称 | 说明 |
|---|---|
RecursiveChunker | 以分级规则递相分出文本(第-段-句子-句子-句子-字符). 每个关卡只有在块超过所配置的大小时才会激活. |
TokenChunker | 将文本分割成可选重叠的固定大小符号块。 默认情况下使用基于字符的符号化,或使用有@chonkiejs/token的HuggingFace模型. |
TableChunker | 将 Markdown 或 HTML 表格拆分为更小的表格块,同时重复每个块中的原标题。 支持以行为基础的模式和以符号为基础的模式. |
FastChunker | 以字节为基础的边界探测 @chonkiejs/chunk 用于非常快地用分界器或图案控件进行分块. |
详细的API文档、配置选项和高级使用,参见 DOCS. md (英语)。 。 。 .
捐款
想帮忙种姜子吗? 检查出来 捐款额 开始吧! 无论是修复错误,添加特性,改进文件,还是简单地在回放上留下一个"Q",每一份贡献都有助于让Chonki成为每个人更好的CHONK.
记住:对于这个小河马来说,任何贡献都不算太小!
鸣谢
Chonkie想通过特别感谢所有用户和贡献者, 你的反馈,发布的报告, 和改进 帮助了姜琪 它可能是.
当然,特别感谢 摩托摩托语 赞美姜琪的名言:
"我喜欢他们大块头,我喜欢他们在TypeScript的chonkie" ~ Moto Moto..
引用
如果您在研究中使用Chonkie,请引用如下:
@software{chonkie2025,
author = {Bhavnick Minhas and Shreyash Nigam},
title = {Chonkie: A no-nonsense fast, lightweight, and efficient text chunking library},
year = {2025},
publisher = {GitHub},
howpublished = {\url{https://github.com/chonkie-inc}},
}