兹-瓦兹
JavaScript 模块和 CLI 工具,用于使用网络归档数据 wACZ 格式规格,类似于 网络录音器的 py -wacz。 。 。 .
它可用于组合一组 .warc 编号 : .warc.gz 文件为单个 .wacz 文件 :
在方案方面(节点:
import { WACZ } from '@harvard-lil/js-wacz'
const archive = new WACZ({
input: 'collection/*.warc.gz',
output: 'collection.wacz',
})
await archive.process() // "my-collection.wacz" is ready!
...或通过命令行:
js-wacz create -f "collection/*.warc.gz" -o "collection.wacz"
兹-瓦兹 利用工人来平行处理尽可能多的WAC文件,像主机所能处理的那样.
内容提要
安装
兹-瓦兹 需求 联合来文20+。 。 。 .
npm 可用于安装此软件包并制作 兹-瓦兹 整个系统可访问命令 :
npm install -g @harvard-lil/js-wacz
CLI: 爱丽丝 create 命令
这个 create 命令帮助组合一个或多个 .warc 或者说 .warc.gz 文件为单个 .wacz 文档.
js-wacz create -f "collection/*.warc.gz" -o "collection.wacz"
兹-瓦兹 接受下列选项和参数,用于自定义WACZ文件的组装方式.
--f 文档
这是唯一的 所需经费 参数,用于表示应当处理哪些文件并添加到产生的WACZ文件中.
目标可以是单个文件,也可以是诸如: folder/*.warc.gz。 。 。 .
# Single file:
js-wacz create --file archive.warc
# Collection:
js-wacz create --file "collection/*.warc"
说明: 在使用克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来克来.
产出
指定结果 .wacz 文件应该创建,其文件名应该是什么.
默认为 archive.wacz 如果不提供,则在当前目录中.
完成的档案只有在成功完成后才取代现有的目的地。 处理错误保存上一个文件并删除临时输出.
js-wacz create --file cool-beans.warc --output cool-beans.wacz
-- --pages --p
文件夹的路径 页: 1 文档(pages.jsonl, (中文(简体) ), extraPages.jsonl (......) (中文(简体) ).
如果没有提供, 兹-瓦兹 试图检测WARC记录中的页面以构建自己的 pages.jsonl 指数.
# Assuming the following file exists: /collections/pages/pages.jsonl
js-wacz create -f "collection/*.warc.gz" --pages collection/pages/
--cdxj (中文(简体) )
传递已存在的 CDXJ 文件目录,而不是从 WARCs 中索引 。 必须结合使用 --pages。 。 。 .
js-wacz create -f "collection/*.warc.gz" --pages collection/pages.jsonl --cdxj collection/indexes/
- url (英语)
如果提供,将用作 mainPageUrl 属性 datapackage.json。 。 。 .
必须是有效的 URL .
js-wacz create -f "collection/*.warc.gz" --url "https://lil.law.harvard.edu"
--ts 时
如果提供,将用作 mainPageDate 属性 datapackage.json。 。 。 .
可以是任何值 由 JavaScript 解析 Date() constructor。 。 。 .
js-wacz create -f "collection/*.warc.gz" --ts "2023-02-22T12:00:00.000Z"
标题
如果提供,将用作 title 属性 datapackage.json。 。 。 .
js-wacz create -f "collection/*.warc.gz" --title "My collection."
--desc 数据
如果提供,将用作 description 属性 datapackage.json。 。 。 .
js-wacz create -f "collection/*.warc.gz" --desc "My cool collection of web archives."
-- 正在签名- url
如果提供,将用作应用的API终点 生成的 WACZ 文件的加密签名。 。 。 .
这个终点预计将是: 与符号兼容。 。 。 .
签名 URL 无效或签名检查失败拒绝导出 。 返回的散列必须与根表相匹配,其签名必须与所提供的密钥或域证书相验证. 此检查不验证证书信任度,域名,或RFC 3161倍戳. 见 发布注释 用于支持的格式和历史散列兼容性.
js-wacz create -f "collection/*.warc.gz" --signing-url "https://example.com/sign"
-- 正在签名
与 --signing-url 如果提供,如果签名服务器需要认证.
js-wacz create -f "collection/*.warc.gz" --signing-url "https://example.com/sign" --signing-token "FOO-BAR"
--log级
可用于确定动词 兹-瓦兹 需要这样.
- 可能的值是:
silent, (中文(简体) ),trace, (中文(简体) ),debug, (中文(简体) ),info, (中文(简体) ),warn, (中文(简体) ),error - 默认是:
info
js-wacz create -f "collection/*.warc.gz" --log-level trace
- 日志目录 - l
包含日志文件的文件夹路径( WACZ 中只包含有.log或.txt文件扩展名的文件) .
# Assuming the following file exists: collection/logs/crawl.log
js-wacz create -f "collection/*.warc.gz" --log-directory collection/logs/
程序使用
兹-瓦兹'CLI和基础逻辑脱钩,因此可以作为JavaScript模块被消耗 (目前仅与Node.js)。 。 。 .
实例:在方案上创建一个已签名的WACZ
import { WACZ } from '@harvard-lil/js-wacz'
try {
const archive = new WACZ({
input: 'collection/*.warc.gz',
output: 'collection.wacz',
signingUrl: 'https://example.com/sign',
signingToken: 'FOO-BAR',
})
await archive.process()
// collection.wacz is ready
} catch(err) {
// ...
}
虽然a process() 提供了方便方法,所述程序的每一个步骤都可以单独运行,档案的状态检查/编辑整个过程.
process() 财务报告和审定财务报表 finalize() 在成功或失败时释放输出资源。 工人在编制索引后关闭。 应使用递增呼叫器 finally 如果任何步骤失败或归档被放弃,则处理归档:
const archive = new WACZ({ input: 'collection/*.warc.gz', output: 'collection.wacz' })
try {
await archive.addFileToZip(Buffer.from('Extra data'), 'extras/data.txt')
await archive.process()
} finally {
await archive.dispose()
}
dispose() 可以反复调用,并留下一个成功定稿的文件。 已完成或处理的示例无法启动另一出口.
支付费用
WACZ.addPage()允许手动将条目添加到pages.jsonl。 。 。 .WACZ.addFileToZip()允许手动将任何额外数据添加到最后WACZ文件中.- 这个
datapackageExtras选项允许在数据包中添加任意的 JSON 序列大小对象extras。 。 。 .
参考文献:
与 py-wacz 的特征均等
兹-瓦兹 旨在部分特征与 网络录音器的 py -wacz,类似于 网络录音器的 py -wacz。 。 。 .
本节列出了可能影响到互操作性的实施方面的显著差异.
目前实施的特点的主要差异:
- CLI: 爱丽丝
create --detect-pages数字 :--detect-pages包含在 兹-瓦兹 除非--pages提供. - CLI: 爱丽丝
create --file:这一论点可以指: 皮瓦兹语name,它总是明确在 兹-瓦兹。 。 。 .
发展
标准联合来文
此代码库使用 标准联合来文 编码样式.
npm run lint可用于检查格式.npm run lint-autofix可用于检查格式 财务报告和审定财务报表 尽可能自动相应编辑文件.- 大多数IDE可以被配置到自动检查并强制执行这种编码样式.
联合来文文件
联合来文文件 用于该项目的文件和松散类型检查.
测试
这个项目使用 节点Js的内置测试跑道。 。 。 .
npm run test
套接字开始并停止其本地 HTTP 签名服务器,生成真实 加密签名,并检查独立的RSA/ECDSA证书固定装置.
可用的 CLI
# Runs test suite
npm run test
# Runs linter
npm run lint
# Runs linter and attempts to automatically fix issues
npm run lint-autofix
# Step-by-step NPM publishing helper
npm run publish-util
