WARC 银河探索器
银河视觉 warc.gz 数据集,基于 挪威WARC 探索者国家图书馆。它保存上游记录列表、记录类型过滤器、URI和记录ID搜索、头部查看器、文本和六分位有效载荷显示、键盘导航和玻璃管更新器。 上游的标题栏和文件窗格被隐藏,因为取景器打开了单一的数据集.
存档在浏览器中处理. 第一个通过数据流来索引其记录;选择一个记录用一个HTTP字节范围来获取它,或者在被压缩为单个gzip成员时依次读取归档. 没有范围支持的服务器获得一个完整的下载。 这个 warc.gz 数据类型可从Galaxy 26.2中获取.
发展
npm ci
npx playwright install chromium
npm test
npm run dev 打开样本归档 1.warc.gz 从 星系测试数据要打开银河服务器上的数据集:
GALAXY_ROOT=http://127.0.0.1:8080 GALAXY_KEY=API_KEY GALAXY_DATASET_ID=ENCODED_ID npm run dev
?dataset_id=ENCODED_ID 也选择数据集. GALAXY_KEY 仅用于开发代理.
npm run test:unit 涵盖销售商解析器、gzip布局、有效载荷限制、输入错误、取消和射程运输. npm run test:e2e 在银河式的iframe内驱动已建成的查看器,包括搜索,过滤器,出错状态和孤立的预览. Playwright 重用已经在端口运行的 dev 服务器; 设置 PLAYWRIGHT_PORT 来测试新的建筑.
限制
索引扫描整个档案,并将元数据记录在内存中,因此大型档案需要时间和内存. 解码预览最多能维持16个米B,而文本视图显示最多能维持5万个字符.
有效载荷预览在一个有限制性内容政策的沙箱框中打开. HTML重建为静态标记,删除了脚本,窗体,嵌入式文档和活的URL;图像和媒体使用本地数据URL;其他类型显示为文本.
见 公共/大学 上游针和变化.