句子库的 Javascript 包

构建

句子被编译成使用标注的网络组装 .

为了重建这个项目

yarn

git clone https://github.com/google/sentencepiece.git

yarn build

使用

要使用此工具

const { SentencePieceProcessor, cleanText } = require('../dist')
const ROOT = require('app-root-path')

async function main() {
  let text = 'I am still waiting on my card?'
  let cleaned = cleanText(text)

  let spp = new SentencePieceProcessor()
  await spp.load(`${ROOT}/test/30k-clean.model`)
  let ids = spp.encodeIds(cleaned)
  console.log(ids)
  let str = spp.decodeIds(ids) // list ids->number
  console.log(str)

  let pieces = spp.encodePieces(cleaned) // list tokens->string
  console.log(pieces)
}
main()

说明

• 快速删除 unhandledException 财务报告和审定财务报表 unhandledRejection 造成不必要的控制台垃圾堆的操作员.

• devilyouwei更新了这个 repo 使这个模块支持 js require 关键词并添加使用示例.

• 2023-1-10,恶魔你加了 encodePieces。 。 。 .