(微服务)服务治理：几种开源限流算法库/应用软件介绍和使用

一、Go time/rate 限流器

1.1 简介

Go 在 x 标准库，即 golang.org/x/time/rate 里自带了一个限流器，这个限流器是基于令牌桶算法（token bucket）实现的。

在上一篇文章讲了几种限流算法，里面就有令牌桶算法，具体可以看上篇文章介绍。

1.2 rate/time 限流构造器

这个限流构造器就是生成 token，供后面使用。

Limiter struct 结构：

// https://github.com/golang/time/blob/master/rate/rate.go#L55// The methods AllowN, ReserveN, and WaitN consume n tokens.
type Limiter struct {mu sync.Mutexlimit Limit   // 放入 token 的速率burst int     // 令牌桶限制最大值tokens float64 // 桶中令牌数// last is the last time the limiter's tokens field was updatedlast time.Time// lastEvent is the latest time of a rate-limited event (past or future)lastEvent time.Time
}

限流器构造方法：func NewLimiter(r Limit, b int) *Limiter：

  • r ：产生 token 的速率。默认是每秒中可以向桶中生产多少 token。也可以设置这个值，用方法 Every 设置 token 速率时间粒度。
  • b ：桶的容量，桶容纳 token 的最大数量。 b == 0，允许声明容量为 0 的值，这时拒绝所有请求；与 b== 0 情况相反，如果 r 为 inf 时，将允许所有请求，即使是 b == 0。
// Inf is the infinite rate limit; it allows all events (even if burst is zero). 
const Inf = Limit(math.MaxFloat64)

It implements a “token bucket” of size b, initially full and refilled at rate r tokens per second.
构造器一开始会为桶注入 b 个 token，然后每秒补充 r 个 token。

  • 每秒生成 20 个 token，桶的容量为 5，代码为：
limiter ：= NewLimiter(20, 5)
  • 200ms 生成 1 个 token

这时候不是秒为单位生成 token ，就可以使用 Every 方法设置生成 token 的速率：

limit := Every(200 * time.Millisecond)
limiter := NewLimiter(limit, 5)

1秒 = 200ms * 5，也就是每秒生成 5 个 token。

生成了 token 之后，请求获取 token，然后使用 token。

1.3 time/rate 有3种限流用法

time/rate 源码里注释，消费 n 个 tokens 的方法

// The methods AllowN, ReserveN, and WaitN consume n tokens.

  • AllowN
  • ReserveN
  • WaitN
A. WaitN、Wait

WaitN / Wait 方法：

// https://pkg.go.dev/golang.org/x/time/rate#Limiter.WaitN
// WaitN blocks until lim permits n events to happen.
// It returns an error if n exceeds the Limiter's burst size, the Context is
// canceled, or the expected wait time exceeds the Context's Deadline.
// The burst limit is ignored if the rate limit is Inf.
func (lim *Limiter) WaitN(ctx context.Context, n int) (err error)func (lim *Limiter) Wait(ctx context.Context) (err error)

WaitN ： 当桶中的 token 数量小于 N 时，WaitN 方法将阻塞一段时间直到 token 满足条件或超时或取消(如果设置了context)，超时或取消将返回error。如果 N 充足则直接返回。
Wait ： 就是 WaitN 方法中参数 n 为 1 时，即：WaitN(ctx, 1)。

方法里还有 Contex 参数，所以也可以设置 Deadline 或 Timeout，来决定 Wait 最长时间。比如下面代码片段：

 ctx, cancel := context.WithTimeout(context.Background(), time.Second * 5)defer cancel()err := limiter.WaitN(ctx, 2)

例子1：

package mainimport ("context""fmt""time""golang.org/x/time/rate"
)func main() {limit := rate.NewLimiter(3, 5) // 每秒产生 3 个token，桶容量 5ctx, cancel := context.WithTimeout(context.Background(), time.Second*5)defer cancel() // 超时取消for i := 0; ; i++ { // 有多少令牌直接消耗掉fmt.Printf("%03d %s\n", i, time.Now().Format("2006-01-02 15:04:05.000"))err := limit.Wait(ctx)if err != nil { // 超时取消 err != nilfmt.Println("err: ", err.Error())return // 超时取消，退出 for}}
}

分析：这里指定令牌桶大小为 5，每秒生成 3 个令牌。for 循环消耗令牌，产生多少令牌都会消耗掉。
从开始一直到 5 秒超时，计算令牌数，一开始初始化 NewLimiter 的 5 个 + 每秒 3 个令牌 * 5秒 ，总计 20 个令牌。运行程序输出看看：

$ go run .\waitdemo.go
000 2022-05-17 21:35:38.400
001 2022-05-17 21:35:38.425
002 2022-05-17 21:35:38.425
003 2022-05-17 21:35:38.425
004 2022-05-17 21:35:38.425
005 2022-05-17 21:35:38.425
006 2022-05-17 21:35:38.773
007 2022-05-17 21:35:39.096
008 2022-05-17 21:35:39.436
009 2022-05-17 21:35:39.764
010 2022-05-17 21:35:40.106
011 2022-05-17 21:35:40.434
012 2022-05-17 21:35:40.762
013 2022-05-17 21:35:41.104
014 2022-05-17 21:35:41.430
015 2022-05-17 21:35:41.759
016 2022-05-17 21:35:42.104
017 2022-05-17 21:35:42.429
018 2022-05-17 21:35:42.773
019 2022-05-17 21:35:43.101
err:  rate: Wait(n=1) would exceed context deadline
B: AllowN、Allow

AllowN / Allow 方法

// https://pkg.go.dev/golang.org/x/time/rate#Limiter.AllowN
// AllowN reports whether n events may happen at time now.
// Use this method if you intend to drop / skip events that exceed the rate limit.
// Otherwise use Reserve or Wait.
func (lim *Limiter) AllowN(now time.Time, n int) bool// Allow is shorthand for AllowN(time.Now(), 1).
func (lim *Limiter) Allow() bool

AllowN ：截止到某一时刻，桶中的 token 数量至少为 N 个，满足就返回 true，同时从桶中消费 n 个 token；反之返回 false，不消费 token。这个实际就是丢弃某些请求。
Allow ：就是 AllowN 方法中参数 now 为现在时间，n 为 1，即 AllowN(time.Now(), 1)

例子：

package mainimport ("fmt""net/http""time""golang.org/x/time/rate"
)func main() {r := rate.Every(1 * time.Millisecond)limit := rate.NewLimiter(r, 10)http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {if limit.Allow() {fmt.Printf("success，当前时间：%s\n", time.Now().Format("2006-01-02 15:04:05"))} else {fmt.Printf("success，但是被限流了。。。\n")}})fmt.Println("http start ... ")_ = http.ListenAndServe(":8080", nil)}

然后你可以找一个 http 测试工具模拟用户压测下，比如 https://github.com/rakyll/hey 这个工具。测试命令：

hey -n 100 http://localhost:8080/

就可以看到输出的内容

… …
success，当前时间：2022-05-17 21:41:44
success，当前时间：2022-05-17 21:41:44
success，当前时间：2022-05-17 21:41:44
success，但是被限流了。。。
success，但是被限流了。。。
… …

例子2：

package mainimport ("fmt""time""golang.org/x/time/rate"
)func main() {limit := rate.NewLimiter(1, 3)for {if limit.AllowN(time.Now(), 2) {fmt.Println(time.Now().Format("2006-01-02 15:04:05"))} else {time.Sleep(time.Second * 3)}}
}
C：ReserveN、Reserve

ReserveN / Reserve 方法

// https://pkg.go.dev/golang.org/x/time/rate#Limiter.ReserveN
// ReserveN returns a Reservation that indicates how long the caller must wait before n events happen. The Limiter takes this Reservation into account when allowing future events. The returned Reservation’s OK() method returns false if n exceeds the Limiter's burst size.
func (lim *Limiter) ReserveN(now time.Time, n int) *Reservationfunc (lim *Limiter) Reserve() *Reservationfunc (r *Reservation) DelayFrom(now time.Time) time.Duration
func (r *Reservation) Delay() time.Duration
func (r *Reservation) OK() bool

其实上面的 WaitN 和 AllowN 都是基于 ReserveN 方法。具体可以去看看这 3 个方法的源码。

ReserveN ：此方法返回 *Reservation 对象。你可以调用该对象的 Dealy 方法，获取延迟等待的时间。如果为 0，则不用等待。必须等到等待时间结束后才能进行下面的工作。
或者，如果不想等待，可以调用 Cancel 方法，该方法会将 Token 归还。
Reserve ：就是 ReserveN 方法中参数 now 为现在时间，n 为 1，即 AllowN(time.Now(), 1)

usage example:

// https://pkg.go.dev/golang.org/x/time/rate#Limiter.ReserveNr := lim.ReserveN(time.Now(), 1)
if !r.OK() {// Not allowed to act! Did you remember to set lim.burst to be > 0 ?return
}
time.Sleep(r.Delay())
Act() // 执行相关逻辑

1.4 动态设置桶token容量和速率

SetBurstAt / SetBurst：

func (lim *Limiter) SetBurstAt(now time.Time, newBurst int)
func (lim *Limiter) SetBurst(newBurst int)

SetBurstAt ：设置到某时刻桶中 token 的容量
SetBurst：SetBurstAt(time.Now())

SetLimitAt / SetLimit

func (lim *Limiter) SetLimitAt(now time.Time, newLimit Limit)
func (lim *Limiter) SetLimit(newLimit Limit)

SetLimitAt ：设置某刻 token 的速率
SetLimit ：设置 token 的速率

二、uber 的 rate limiter

2.1 简介

uber 的这个限流算法是漏桶算法（leaky bucket） - github.com/uber-go/ratelimit。

与令牌桶算法的区别：

  1. 漏桶算法流出的速率可以控制，流进桶中请求不能控制
  2. 令牌桶算法对于流入和流出的速度都是可以控制的，因为令牌可以自己生成。所以它还可以应对突发流量。突发流量生成 token 就快些。
  3. 令牌桶算法只要桶中有 token 就可以一直消费，漏桶是按照预定的间隔顺序进行消费的。

2.2 使用

官方的例子：

limit := ratelimit.New(100) // 每秒钟允许100个请求prev := time.Now()for i := 0; i < 10; i++ {now := limit.Take()fmt.Println(i, now.Sub(prev))prev = now
}

限流器每秒可以通过 100 个请求，平均每个间隔 10ms。

2.3 uber 对漏桶算法的改进

在传统的漏桶算法，每个请求间隔是固定的，然而在实际应用中，流量不是这么平均的，时而小时而大，对于这种情况，uber 对 leaky bucket 做了一点改进，引入 maxSlack 最大松弛量的概念。

举例子：比如 3 个请求，请求 1 完成，15ms后，请求 2 才到来，可以对 2 立即处理。请求 2 完成后，5ms后，请求 3 到来，这个请求距离上次请求不足 10ms，因此要等 5ms。
但是，对于这种情况，实际三个请求一共耗时 25ms 才完成，并不是预期的 20ms。

uber 的改进是：可以把之情请求间隔比较长的时间，匀给后面的请求使用，只要保证每秒请求数即可。

uber ratelimit 改进代码实现：

t.sleepFor += t.perRequest - now.Sub(t.last)
if t.sleepFor > 0 {t.clock.Sleep(t.sleepFor)t.last = now.Add(t.sleepFor)t.sleepFor = 0
} else {t.last = now
}

把每个请求多余出来的等待时间累加起来，以给后面的抵消使用。

其他参数用法：

  • WithoutSlack：

ratelimit 中引入最大松弛量，默认的最大松弛量为 10 个请求的间隔时间。
但是我不想用这个最大松弛量呢，就要限制请求的固定间隔时间，用 WithoutSlack 这个参数限制：

limit := ratelimit.New(100, ratelimit.WithoutSlack)
  • WithClock(clock Clock)：

ratelimit 中时间相关计算是用 go 的标准时间库 time，如果想要更高进度或特殊需求计算，可以用 WithClock 参数替换，实现 Clock 的 interface 就可以了

type Clock interface {Now() time.TimeSleep(time.Duration)
}clock &= MyClock{}
limiter := ratelimit.New(100, ratelimit.WithClock(clock))

更多 ratelimit

三、其他限流器，算法库包和软件

  1. 滴滴的 tollbooth，http 限流中间件，有很多特性：
    • 1.基于IP，路径，方法，header，授权用户等限流
    • 2.通过使用 LimitByKeys() 组合你自己的中间件
    • 3.对于head项和基本auth能够设置TTL-过期时间
    • 4.拒绝后，可以使用以下 HTTP 头响应，比如 X-Rate-Limit-Limit The maximum request limit
    • 5.当限流达到上限，可以自定义消息和方法，返回信息
    • 6.它是基于 golang.org/x/time/rate 开发
  2. java 的 guava 限流
    • ratelimiter
  3. 基于信号量限流
    • https://github.com/golang/net/blob/master/netutil/listen.go
  4. sentinel-go 服务治理软件以及sentinel
    • https://github.com/alibaba/sentinel-golang
    • github.com/alibaba/Sentinel ，java编写的流控组件，服务治理
  5. 还有各种基于 nginx 的限流器，限流软件-服务网关，api gateway等
  6. java的服务治理软件
    • github.com/alibaba/Sentinel Sentinel
    • Hystrix Hystrix
    • resilience4j resilience4j

四、参考

  • https://github.com/golang/time
  • pkg.go.dev/golang.org/x/time/rate
  • https://zhuanlan.zhihu.com/p/100594314
  • https://segmentfault.com/a/1190000023033365
  • https://www.cyhone.com/articles/usage-of-golang-rate/
  • https://www.cyhone.com/articles/analysis-of-uber-go-ratelimit
  • uber ratelimit vs go time/rate demo
  • uber-go ratelimit

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/2604.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

AMD显卡低负载看视频掉驱动(chrome edge浏览器) 高负载玩游戏却稳定 解决方法——关闭MPO

AMD显卡低负载看视频掉驱动(chrome edge浏览器) 高负载玩游戏却稳定 解决方法——关闭MPO

问题 折磨的开始是天下苦黄狗久矣&#xff0c;为了不再被讨乞丐的显存恶心&#xff0c;一怒之下购入了AMD显卡&#xff08;20GB显存确实爽 头一天就跑了3dmark验机&#xff0c;完美通过&#xff0c;玩游戏也没毛病 但是呢这厮是一点不省心&#xff0c;玩游戏没问题&#xff0c…
阅读更多...
小容器拉动大市场 全面云原生化刻不容缓

小容器拉动大市场 全面云原生化刻不容缓

毋庸置疑&#xff0c;容器技术的发展推动了云原生计算革命。当前&#xff0c;在云原生已经成为企业用云新常态的情况下&#xff0c;作为一项核心能力&#xff0c;容器管理与服务也成了检验云服务商的试金石。Omdia最新发布的《Omdia Universe: Cloud Container Management &…
阅读更多...
一招帮你搞懂数据结构的插入、删除

一招帮你搞懂数据结构的插入、删除

目录 一、尾部插入&#xff08;添加&#xff09; 1.初始化 2.一个打印数组的函数 3.尾插 4.完整版 二、任意位置插入 1.流程图 2.任意插 3.完整版 三、指定数据删除 1.流程图 2. 删除&#xff08;首位查找到的元素&#xff09; 四、删除所有 思想 代码 五、有序…
阅读更多...
二叉树相关算法

二叉树相关算法

满二叉树&#xff1a;每层都是满的 完全二叉树&#xff1a;特殊的满二叉树&#xff0c;可以有一个子节点&#xff0c;但最后一层必须是从左到右排列&#xff0c;中间不能有空隙&#xff0c;强调除了最后一层外&#xff0c;其他层都是满的 一、dfs深度搜索 例题&#xff1a;求…
阅读更多...
Sigrity Power SI VR noise Metrics check模式如何进行电源噪声耦合分析操作指导

Sigrity Power SI VR noise Metrics check模式如何进行电源噪声耦合分析操作指导

SSigrity Power SI VR noise Metrics check模式如何进行电源噪声耦合分析操作指导 Sigrity Power SI的VR noise Metrics check模式本质上是用来评估和观测器件的电源网络的耦合对于信号的影响，输出S参数以及列出具体的贡献值。 以下图为例
阅读更多...
OpenGL入门004——使用EBO绘制矩形

OpenGL入门004——使用EBO绘制矩形

本节将利用EBO来绘制矩形 文章目录 一些概念EBO 实战简介utilswindowFactory.hRectangleModel.hRectangleModel.cpp main.cppCMakeLists.txt最终效果 一些概念 EBO 概述&#xff1a; Element Buffer Object 用于存储顶点的索引数据&#xff0c;以便在绘制图形时可以重用顶点数…
阅读更多...
Qt 视口和窗口

Qt 视口和窗口

Qt 视口和窗口 1、视口和窗口的定义与原理 绘图设备的物理坐标是基本的坐标系&#xff0c;通过 QPainter 的平移、旋转等变换可以得到更容易操作的逻辑坐标。 为了实现更方便的坐标&#xff0c;QPainter 还提供了视口 (Viewport)和窗口 (Window)坐标系&#xff0c;通过Q…
阅读更多...
hunyuan-DiT模型部署指南

hunyuan-DiT模型部署指南

一、介绍 Hunyuan-DiT是由腾讯混元推出的扩散模型&#xff0c;支持中文和英文双语输入&#xff0c;其他开源模型相比&#xff0c;Hunyuan-DiT 在中文到图像生成方面树立了新的水平。 二、部署流程 环境要求&#xff1a; 所需的最小 GPU 内存为 11GB&#xff0c; 建议使用具…
阅读更多...
Pytorch学习--神经网络--搭建小实战（手撕CIFAR 10 model structure）和 Sequential 的使用

Pytorch学习--神经网络--搭建小实战（手撕CIFAR 10 model structure）和 Sequential 的使用

一、Sequential 的使用方法 在手撕代码中进一步体现 torch.nn.Sequential 二、手撕 CIFAR 10 model structure 手撕代码&#xff1a; import torch from torch import nn from torch.nn import Conv2d, MaxPool2d, Flatten, Linear from torch.utils.tensorboard import Su…
阅读更多...
硬件测试工程师之EMC项目-电磁干扰-谐波测试标准解析思维导图

硬件测试工程师之EMC项目-电磁干扰-谐波测试标准解析思维导图

1&#xff1a;链接上一篇文章 ​​​​​​​相关链接&#xff1a;https://blog.csdn.net/weixin_49492286/article/details/135210741 2&#xff1a;重新总结思维导图并进行深入解析EMC-谐波测试项目 本人重新再次总结这个EMC谐波的标准解析思维导图&#xff0c;并且附上相…
阅读更多...
ArcGIS 地理信息系统 任意文件读取漏洞复现

ArcGIS 地理信息系统 任意文件读取漏洞复现

0x01 产品简介 ArcGIS是由美国Esri公司研发的地理信息系统（GIS）软件，它整合了数据库、软件工程、人工智能、网络技术、云计算等主流的IT技术，旨在为用户提供一套完整的、开放的企业级GIS解决方案，它包含了一套带有用户界面组件的Windows桌面应用。可以实现从简单到复杂的…
阅读更多...
安全合规：沃尔玛自养号测评技术搭建要点

安全合规：沃尔玛自养号测评技术搭建要点

沃尔玛自养号测评技术的搭建是一个复杂且需综合考量多方面因素的过程&#xff0c;以下是对其技术搭建的详细解析&#xff1a; 一、硬件与网络环境搭建 硬件参数伪装&#xff1a; 利用国外服务器在云端搭建安全终端&#xff0c;全面阻断沃尔玛平台对设备底层硬件参数的检测&a…
阅读更多...
Ps：天空替换

Ps：天空替换

Ps菜单&#xff1a;编辑/天空替换 Edit/Sky Replacement Ps菜单&#xff1a;选择/天空 Select/Sky 天空替换 Sky Replacement命令能够自动分析前景与天空&#xff0c;利用 Adobe Sensei 技术也大大减轻了制作蒙版的负担&#xff0c;可以直观、智能、快速地实现天空替换。 到目…
阅读更多...
【JavaEE初阶】网络编程TCP协议实现回显服务器以及如何处理多个客户端的响应

【JavaEE初阶】网络编程TCP协议实现回显服务器以及如何处理多个客户端的响应

前言 &#x1f31f;&#x1f31f;本期讲解关于TCP/UDP协议的原理理解~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 &#x1f386;那么废话不多说…
阅读更多...
MySQL 9从入门到性能优化-加密函数

MySQL 9从入门到性能优化-加密函数

【图书推荐】《MySQL 9从入门到性能优化&#xff08;视频教学版&#xff09;》-CSDN博客 《MySQL 9从入门到性能优化&#xff08;视频教学版&#xff09;&#xff08;数据库技术丛书&#xff09;》(王英英)【摘要 书评 试读】- 京东图书 (jd.com) MySQL9数据库技术_夏天又到了…
阅读更多...
探索空间计算与 VR 设备的未来：4K4DGen 高分辨率全景 4D 内容生成系统

探索空间计算与 VR 设备的未来：4K4DGen 高分辨率全景 4D 内容生成系统

在当今科技飞速发展的时代，空间计算和 VR 设备正逐渐成为人们体验沉浸式场景的重要工具。而今天，我们要为大家介绍一款具有创新性的技术 ——4K4DGen 高分辨率全景 4D 内容生成系统，它为 VR/AR 沉浸式体验带来了全新的可能性。 一、项目概述 4K4DGen 项目的核心目标是实现 …
阅读更多...
Unity中实现伤害飘字或者提示飘字效果（DoTween实现版本）

Unity中实现伤害飘字或者提示飘字效果（DoTween实现版本）

&#xff01;&#xff01;&#xff01;在实现以下效果之前&#xff0c;一定要往项目中导入DoTween插件。 一、搭建测试场景 1、在场景中新建一个带有Text组件的游戏物体A&#xff0c;并把这个游戏物体A中Text组件的Color属性中alpha值为0&#xff0c;让文字在场景中隐藏。 …
阅读更多...
为什么说模拟电路的难点就在开通过程和关断过程？难在什么地方？

为什么说模拟电路的难点就在开通过程和关断过程？难在什么地方？

模拟电路中开通过程和关断过程之所以困难&#xff0c;主要有以下几个方面的原因&#xff1a; 1. 瞬态响应特性复杂 - 在开通和关断瞬间&#xff0c;电路中的电流和电压会发生快速变化&#xff0c;产生复杂的瞬态响应。这些瞬态响应可能包含过冲、下冲、振铃等现象&#xff0c;…
阅读更多...
数据结构---二叉树（顺序结构），堆（上）

数据结构---二叉树（顺序结构），堆（上）

树 树的概念与结构 树是⼀种⾮线性的数据结构，它是由 n（n>=0） 个有限结点组成⼀个具有层次关系的集合。把它叫做树是因为它看起来像⼀棵倒挂的树，也就是说它是根朝上，⽽叶朝下的。 PS 有⼀个特殊的结点，称为根结点，根结点没有前驱结点。除根结点外，其余结点被分成…
阅读更多...
CSS中常见的两列布局、三列布局、百分比和多行多列布局！

CSS中常见的两列布局、三列布局、百分比和多行多列布局！

目录 一、两列布局 1、前言&#xff1a; 2. 两列布局的常见用法 两列布局的元素示例&#xff1a; 代码运行后如下&#xff1a; 二、三列布局 1.前言 2. 三列布局的常见用法 三列布局的元素示例&#xff1a; 代码运行后如下&#xff1a; 三、多行多列 1.前言 2&…
阅读更多...
最新文章

Copyright @ 2022~2023