分布- 间隔 : 一种货币意识 Redis 后置的速率限制器, 并预导速度延迟和 Token Bucket 暴发处理
另见 完整的 API 文档。 。 。 .
静坐
安置控制同时客户执行某些业务的速度。 这个 引入客户请求之间的故意拖延。 速度的首要目标 确保业务率(如发出请求)不 超过一定阈值(如QPS-"每秒清点").
使用大小写 :
- 外出请求. Pacing 通常被客户用来管理费率 他们向规定费率限额的外部服务发送请求.
- 装入管理. 在外部服务可能存在的情况下 对交通突飞猛进的敏感度, 速度有助于分配负载 更平均的时间.
通知“距离”一词通常用于从 客户端(在不丢弃的情况下减缓请求流量),而“速率” 限制”是用于服务器上收到的请求(拒绝不符合同 页:1.
平稳使用示例
import { DistributedPacer } from "@clickup/distributed-pacer";
import { Redis } from "ioredis";
import { setTimeout } from "timers/promises";
const myIoRedis = new Redis();
async function mySendApiRequest() {
// sends an API request somewhere
}
async function myWorkerRunningOnMultipleMachines() {
while (true) {
const lightweightPacer = new DistributedPacer(myIoRedis, {
key: "myKey",
qps: 10,
maxBurst: 1, // optional
burstAllowanceFactor: 0.5, // optional
});
const outcome = await lightweightPacer.pace(1 /* weight */);
console.log(outcome.reason);
await setTimeout(outcome.delayMs);
await mySendApiRequest();
}
}
如何运作
DistributedPacer 分散一些同时工作的工人或
将进程统一到未来,以满足期望的下游QPS
没错 执行的灵感来自Leeky Bucket
腾讯算法.
一般用例是在发送时引入一些人工后压 请求外部服务,以避免其超载,例如:
- 将发出的请求发送到一些外部API,以达到其费率限制 .
- 保护当地数据库不与同时撰写的文字重叠 多个工人.
想象一下我们有一个时间机器, 我们可以发送请求(事件)到准确的 提供了未来时间的时刻。 为了向未来发出请求 Redis的Lua脚本 返回那一刻的时间戳, 然后工人需要 以调用延迟( ) 以唤醒此时 。 我们也储存了最后一刻 未来到我们先前发出请求的地方,所以下一个请求将出现(如果它们 将越来越远.
另一个类比是在日历中预定一次会议。 当新的请求 到了,它不是立即执行,而是排在日历上 根据QPS津贴.
因此,在返回之后 delayMs 请求将在
上次请求后最少1分/ QPS; 因此, 它将满足目标
QPS (英语). 此外,如果过去在1分/QPS秒以内没有请求,则
现在,那么 delayMs 返回的将是 0.
粪便津贴
想象一下,每个呼叫 pace(weight) 添加 weight 将水倒入桶中
maxBurst 音量,每秒, 1/qps*burstAllowanceFactor 漏水情况
出桶以恒速出(但取出起搏器闲置时才出出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出桶出.
在桶上没有关于未来的请求。 如果
桶尚未满( 其水印在下方) maxBurst 级别),然后是
已返回 delayMs 将会是0, 这样工人就可以继续 请求
马上 否则,速度就会开始出现。 也就是说,我们只有速度
导致桶子溢出的请求( Leaky Bucket 算法).
默认值为 burstAllowanceFactor 少于1,这迫使
暴发的津贴所得略慢于目标QPS.
限制费率
虽然间距是本模块的主要使用例,但它也支持"速率" 限制”模式,其中预期超过配额的请求将被拒绝 (而不是被拖延). 这对处理有用 收到 请求 服务器(与请求的间距相反) 来源 (从工人那里).
用于 DistributedPacer 在速率限制模式中,呼叫 rateLimit() 方法打开
这个 逻辑上,它的工作方式与 pace()但是当它返回时
非零 delayMs它不会改变雷迪斯的状态,假设
请求会被拒绝,不会对 maxBurst 津贴.
利用Leaky Bucket算法的功率(或与此相对应的)
Bucket),将一个非零值传递到 maxBurst。带有默认值(即
0),不允许突袭,因此请求需要不减入
比起来 1/qps 中间数秒.
限速使用示例
免责声明:这里,我们只用快递作为示例:显然有一个
用于 Express 速率限制使用大小写的准备中软件模块。 使用
DistributedPacer 其他应用程序,如GraphQL处理、WebSockets,
内部IO服务等.
import { DistributedPacer } from "@clickup/distributed-pacer";
import { Redis } from "ioredis";
import express from "express";
const myIoRedis = new Redis();
express()
.get('/', (req, res) => {
const lightweightPacer = new DistributedPacer(myIoRedis, {
key: "myKey",
qps: 10,
maxBurst: 20,
});
const outcome = await lightweightPacer.rateLimit(1 /* weight */);
if (outcome.delay > 0) {
console.log(outcome.reason);
res.status(429).send(`Rate limited, try again in ${outcome.delay} ms.`);
} else {
res.send("Hello World!")
}
})
.listen(port);
业绩
这个模块很便宜,可以在您的应用中被放入关键路径.
DistributedPacer 对象轻而易举,所以可以经常创建
您想要的(即使是每个请求).
每次打给 pace() 或者说 rateLimit() 给 Redis 造成一次往返( 它运行 a)
自定义Lua函数),而该调用的时间是O(1).
如果您需要使用多个密钥, 您可以使用组合模式中的 Redis 来扩展
这些密钥跨越多个 Redis 节点( 通过实例 Redis.Cluster 改为
DistributedPacer 建筑师).