@ gmod/ 共享读取缓存
一个承诺缓存的读取 几个呼叫者想要同时。 每把钥匙读一个, 所有人在飞行时要求的,只取消一次 每个 其中一个已经放弃了.
为什么
当缓存记起从第一个呼叫者的信号中 电话员的流产 拒绝其他人等待它。 在基因组浏览器中, panning 离开一个街区,就让那些 仍然渴望的兄弟姐妹们失望.
import { SharedReadCache } from '@gmod/shared-read-cache'
const cache = new SharedReadCache({
cacheKey: chunk => chunk.toString(),
fill: (chunk, signal) => readChunk(chunk, { signal }),
})
const data = await cache.get(chunk, opts.signal)
这个软件包缓存了所生成的读数,按键随你喜欢.
@gmod/range-cache-filehandle
坐在它下面,并缓存一个文件处理器下面的原始 HTTP 字节范围.
文档
- 文件/数据流.md 如何一个
get()流动 - 文献/杂志 ——条目如何离开缓存,以及 预算背后的计量
- 文件/附录 - 每一种选择和方法
- 文件/消费者 哪个gmod软件包使用这个,以及 采用每项衡量方法的地方
预算选入
没有默认限制,因为一个合理的限制取决于您缓存的内容:
const cache = new SharedReadCache({
maxSize: 100 * 2 ** 20,
sizeOf: chunk => chunk.byteLength,
cacheKey: chunk => chunk.toString(),
fill: (chunk, signal) => readChunk(chunk, { signal }),
})
预算范围 保留 内存, 不请求大小 :
- 缓存不会因为太大而变值 。 一个大于 整个预算仍然投入.
- 因为放弃承诺 失去其呼叫者所依赖的去除重复.
- Eviction 只丢弃缓存已交回一次的值, 所以 预算成本最糟糕的是重读.
在没有预算的情况下,缓存会增加对象的生命. @gmod/tabix
测量了2GB RSS在与之相接之前压入了密集的VCF。 如果
值大或对象长寿.
设置 cache.maxSize = n 之后立即驱逐,所以消费者可以出走
记忆在压力下.
idleTimeoutMs ——在无事可做的时候收回
缓存检查 maxSize 当一个读取和解, 所以闲置缓存停留在
达到水平,没有预算能降低水平.
const cache = new SharedReadCache({
maxSize: 1024 * 2 ** 20, // the ceiling under load
idleTimeoutMs: 180_000, // ...but only while it is being used
sizeOf: chunk => chunk.byteLength,
fill: (chunk, signal) => readChunk(chunk, { signal }),
})
将这两个选项合并使用:
- 设定
maxSize慷慨解囊。 在一个请求的下方工作 它的缓存 无, (中文(简体) ), 因为缓存在下一个请求可以重用之前将每个值都赶走, 飞行时的读数保留着记忆. idleTimeoutMs因为记忆的峰值 下载后空出后倒回.
闲时钟是如何工作的:
- 是从最后开始的 读取 或从填充结算中扣除 从那以后就再也没读过.
- 获取一次的条目, 每秒使用一次 .
- 缓慢读取仍会获得全部超时,以便在下载结束后再使用.
- 扫荡跳过飞行中读取.
cache.sweepIdle()当标签被隐藏时.
扫地计时器:
- 第一次读到安顿武器 第一次扫荡没有安顿 进入停止它.
- 它的缓存被弱化,所以一个被丢弃的缓存被收集而没有
dispose()电话. - 它召唤
unref如果有的话,它就不会打开节点进程.
跨越若干缓存的预算
每个缓存天花板并不约束打开许多缓存的消费者,例如:
每个打开的文件一个. SharedBudget 把他们捆起来,驱逐他们
全球最近使用最少的条目,所以繁忙的缓存可以使用空闲的空间
一个没有使用:
const budget = new SharedBudget(1024 * 2 ** 20)
const cache = new SharedReadCache({ budget, sizeOf, fill })
SharedBudget边工作边工作maxSize它不会取代它.- 它对其成员的控制很弱,所以没有
unregister打电话. - 每个成员必须在同一单位衡量大小。 增加一个预算 缓存的字节到另一个条目的字节也没有限制.
文献/杂志 将上限除以 文件数取而代之.
为什么 sizeOf
sizeOf 将确定的价值与预算权衡;没有预算,预算
计数条目。 缓存只能调用 sizeOf 一旦读完,就会有缓存
以这种方式编制预算必须拥有其条目,而一个普通的LRU软件包无法使用
来. 文件/消费者 列出每个 gmod 包的重量.
行为
- 一个没有信号的呼叫者会把读数钉上 永远不能中止,所以每次中止 其他呼叫者不停止读取,读取不能取消 所有人都加入进来了.
- 缓存会丢掉一个拒绝 而不是缓存,所以一个短暂的失败 不使密钥在缓存的生命中失败.
与 @gmod/abortable-promise-cache
此软件包替换 @gmod/abortable-promise-cache,它有两个错误:
- 它从未从收听器的信号中移除过它的收听器, 所以一个长久的信号 每把钥匙累计一个.
- 算上一个来电者 已经以服务员的身份流产了 终止 听者从不向已忽略的信号开火,所以计数没有到达 零和读数 变得不可取消 每个人加入它.