-
-
Notifications
You must be signed in to change notification settings - Fork 1
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
你真的了解 Load Balance 嘛 #1147
Comments
你真的了解 Load Balance 嘛 by Go语言中文网2021-07-06 同时, 为什么需要 LB能认识上图的人,都是 上一代互联网基础架构,必不可少的接入层设备,当时 在赶集网的时候, 后来淘宝开源了 宽泛来说,这里面 lvs, nginx 都是 Load Balance 软件,除了按照一定算法均衡 backend 设备的负载,LB 还要检测后端 Server 的存活状态,自动摘掉故障节点 基本常识那么问题来了,如何构建 Load Balance 设备或是软件呢?本质还是理解 tcp/ip 模型及底层原理 如上图所示,物理层,Mac 层,IP 层,TCP 层, HTTP/HTTPS 等七层。每层都是有不同的 header, 然后封装好 data 后传递给下一层,发送数据与接收数据逻辑相反 不同的 LB 及模式工作在不同模型,比如我们常见的 LVS 很多种模式,工作在二,三,四层都可以 Linux Virtual ServerLinux Virtual Server (lvs) 是 Linux 内核自带的负载均衡器,也是目前性能最好的软件负载均衡器之一。lvs 包括 ipvs 内核模块和 ipvsadm 用户空间命令行工具两部分 在 lvs 中,节点分为 Director Server 和 Real Server 两个角色,其中 Director Server 是负载均衡器所在节点,而 Real Server 则是后端服务节点 当用户的请求到达 Director Server 时,内核 netfilter 机制的 PREROUTING 链会将发往本地 IP 的包转发给 INPUT 链(也就是 ipvs 的工作链,在 INPUT 链上,ipvs 根据用户定义的规则对数据包进行处理(如修改目的 IP 和端口等),并把新的包发送到 POSTROUTING 链,进而再转发给 Real Server 阿里开源 LVS 很久了,但是最新的 fullnat 代码一直没放出,七牛使用的 lvs 内核版本过低,只能用 linux 2.7 kernel, 连硬件支持都很差了。所以后面会讲到 dpvs[2] Nat 是将修改数据包的目的 IP 和端口,将包转发给 RealServer (rs 不需要做任务设置), 此时 Director Server 即 LVS 是做为网关的,处于同一个局域网。包进来做 DNAT,出去做 SNAT 所有流量都经过 LVS, 很容易成为瓶颈。一般用于运维 OP 性质的多一些,服务正常业务流量有问题。 DR (Direct Route) 模式性能最好,工作在二层,通过修改数据包的 Mac 地址来实现转发,属于单臂 one-arm 模式,所以要求二层可达 进来的流量经过 LVS, 出去的直接返回给 client, 以前在赶集网时 MySQL 多用 DR 模式 这个模式需要修改 Real Server, 配置 arp_ignore 和 arp_announce 忽略对vip的ARP解析请求,同时 lo 添加对应的 VIP Tunnel 是典型的隧道模式 Fullnat 解决了 Nat 的不足,机器可以无限扩展,当然也要受限于单机 lvs 的网卡及 cpu 性能 同时为了让服务获取 client 真实 IP, 需要加载 TOA 模块,将 IP 写到 tcp option 中 DPDK + LVS = DPVSIQIYI 前几年开源了 DPVS, 主流公司都有自己的 DPDK LB 轮子,你不造一个都不好意思说是大公司 另外,阿里开源的 fullnat 模块还停留在 linux 2.6.32 kernel, 很多现代机器支持不好,而且 2021 年了,linux 主流内核都是 4.0 及以上 主要优化就是由 DPDK bypass 内核,完全用户态接管网卡,同时重写 tcp/ip 协议栈代码,这样避免了内核空间与用户空间的来回拷贝 上面是 dpvs 的整体架构,里面细节超多,感兴趣可以网上搜我的文章,以前写过一系列 性能 Benchmark 据说可以达到线速,公司用的话还得调研一下。开源产品宣传的很好,实际测起来数据可能不是那么回事,需要有专人调优 调度算法
上面是主流 LB 设备的调度算法,面试八股文必备,一般 RR 简单的轮询就够了。复杂一些的需要加个权,一般都是辗转相除实现的 GCD 最大公约数 这就够了嘛?其实不够的,比如我们线上遇到过预热的问题,服务流量特别大,新起来的机器 RR 过来的话瞬间 QPS 超高,影响服务性能,表现为 GC 特别频繁,同时请求的 latency 非常高 怎么解决呢?参考 Nginx 的 Smooth Weighted Round-Robin (SWRR) 平滑移动加权算法 云厂商的 LB暂时只看 AWS Cloud, 一般我们都用 大家可以参考官网看下区别,无外乎是否支持 layer 4、layer 7, 是否支持按 path 路由,还有一些高级功能等等的区别 具体实现,因为是黑盒,可能 c/c++ 自己写,也可能是 nginx 魔改,谁知道呢 K8S 的 LBK8S 里面主要是三类: Service 允许指定你所需要的 Service 类型,默认是 ClusterIP, 主要类型有: ClusterIP:通过集群的内部 IP 暴露服务,选择该值时服务只能够在集群内部访问。这也是默认的 ServiceType NodePort:通过每个节点上的 IP 和静态端口(NodePort)暴露服务。NodePort 服务会路由到自动创建的 ClusterIP 服务。通过请求 <节点 IP>:<节点端口>,你可以从集群的外部访问一个 NodePort 服务 LoadBalancer:使用云提供商的负载均衡器向外部暴露服务。外部负载均衡器可以将流量路由到自动创建的 NodePort 服务和 ClusterIP 服务上 ExternalName:通过返回 CNAME 和对应值,可以将服务映射到 externalName 字段的内容(例如,foo.bar.example.com), 无需创建任何类型代理 除了类型主要用三种工作模式:userspace proxy, iptables model, ipvs model. 现在性能最好默认的就是 ipvs 模式,如果机器不支持会 fallback 到 iptables 网上有性能对比,差距还是蛮明显的。 上图的 对于流行的 缺点是中间引入过多的 proxy, 服务可观测性是个挑战,A 调 B 服务慢了,中间有多个 sidecar, 扯皮就很难受了 小结今天的分享就这些,写文章不容易,如果对大家有所帮助和启发,请大家帮忙点击 关于 Load Balance 大家有什么看法,或是文章有内容错误,欢迎留言一起讨论,大牛多留言 ^_^ 参考资料[1] Load Balance From wikipedia: https://en.wikipedia.org/wiki/Load\_balancing\_(computing), [2] dpvs: https://github.com/iqiyi/dpvs, 推荐阅读 福利 我为大家整理了一份从入门到进阶的Go学习资料礼包,包含学习建议:入门看什么,进阶看什么。关注公众号 「polarisxu」,回复 ebook 获取;还可以回复「进群」,和数万 Gopher 交流学习。 |
微信号 studygolang 功能介绍 Golang爱好者社区,这里有精选的网站上数千篇优秀文章供你学习,内容涵盖Golang基础系列教程、实战教程等优秀开源项目实践,同时会分享职场经验。每周获取Golang一周资讯等值得关注的内容 以下文章
Tags:
via Pocket https://ift.tt/3xfdJaF original site
July 06, 2021 at 09:00AM
The text was updated successfully, but these errors were encountered: