如何设计一个高可用、高并发秒杀系统?
2021-06-15 14:24:57 浏览:6485

2071d8ceb0dcdb82e22cda000bdbd6b9.jpg

如今的互联网已经在海量服务领域有了很成熟的理论,在电商领域,存在着典型的秒杀业务场景,那何谓秒杀场景呢?简单的来说就是一件商品的购买人数远远大于这件商品的库存,而且这件商品在很短的时间内就会被抢购一空。


高并发的接口/系统有一个共同的特性,那就是”快”。在系统其它条件既定的情况下,系统处理请求越快,用户得到反馈的时间就越短,单位时间内服务器能够处理请求的数量就会越多。所以”快”几乎可以算是高并发系统的要满足的必要条件,要评估一个系统性能如何,某次优化是否提高系统的容量,”快”是一个很直观的衡量标准。


那么如何设计一个高可用、高并发秒杀系统呢?


秒杀系统一般设计思路

秒杀系统的特点是:

§ 瞬时请求量很高

§ 持续时间较短

所以秒杀系统需要解决的是「在高并发情况下,用户请求及数据更新的问题」!


一般的设计思路:

§ (变相)扩容

§ 提高性能


具体方式有:

动静分离

对于一般的应用来说,请求流程大致如下:

§ 服务端接收到请求,从数据库中查询相应数据

§ 选择对应的展示模板

§ 通过模板和数据渲染出最终页面

§ 将页面返回给客户端


当访问量很大的时候,服务器压力会非常的大!解决方案就是动静分离!

做软件开发的都知道要「将变化的内容和不变的内容隔离开」,以便于独立进化。这里其实也是一样的思路。


模板是个静态的内容,部署后一般是不会变化的;而数据是个相对动态的内容,根据请求参数的不同,数据可能不同。所以我们需要将模板与数据分离。


以前的做法是后端事先生成渲染后的页面,缓存起来或直接部署到静态服务器或CDN,请求时直接从缓存(静态服务器/CDN)中获取页面,而动态数据通过AJAX请求的方式获取。服务器不再需要渲染页面,只需要返回少量的数据即可。既降低了服务器压力,又减少了服务端数据的传输。


而现在很流行的前后端分离就能很容易的解决这个问题。页面独立部署,数据异步获取,页面渲染由浏览器负责。这里和普通的前后端分离还有些差异,需要将相对静态的数据都静态化,以减少动态数据量。


分离后,静态内容和动态内容就可以独立进化。例如静态内容可以部署到CDN上,用户可以从最近的服务器获取到数据。相对热点的动态数据可以做缓存,降低数据库压力,进一步提高服务端响应。


独立部署

「独立部署」其实也可以看成是一种「动静分离」。将秒杀系统这个相对动态的系统,和相对静态的业务系统分开部署。

原因很好理解,秒杀系统的请求量很大,可能会由于预估不足或系统问题,导致了秒杀系统的负载过高、响应变慢。如果秒杀系统是业务系统的一部分,则会导致业务系统响应变慢,甚至导致系统没有响应。且秒杀是个短期活动也不是核心业务,而业务系统是需要长期稳定运行的。不能因为一个短期非核心的活动,而影响了核心的业务系统。


所以秒杀系统最好和业务系统分开独立部署。即使秒杀系统挂了,也不会影响业务系统的正常对外服务。

同样的道理,秒杀系统的数据库也需要和业务系统的数据库独立开。


限流削峰

动静分离,独立部署能提高系统的响应能力和容量。但是可提供的访问量是一定的,当超过了系统所能承受的容量,该怎么办呢?你可能会说,可以扩容啊。的确是可以,但是扩容也是有限度的。假设单机能承受10万的请求量,预计有1亿的请求量,你要扩容1000台服务器?!这会导致严重的浪费。


首先,上面提到了,秒杀是短期活动,为了秒杀多部署1000台服务器,秒杀结束后这些服务器再销毁?既浪费硬件资源、又浪费人力资源。


其次,秒杀的商品数量其实并不多,可能秒杀赚的那点钱还不够付服务器和带宽的费用。真·花钱赚吆喝!


我们该如何处理呢?


上面说了,秒杀的商品数量不多,也就是说,其实最后的真实成交量并不大。再进一步讲,很多的请求都是没用的。


其次,在秒杀前,买家会频繁的刷页面,这又额外增加了无用请求的数量。


我们只要把这些无用的请求提前都过滤掉,最终到达服务端的请求就会少很多,也就不需要这么多的服务器了。这就是限流削峰。具体做法有很多:

§ 秒杀时间未到时,秒杀按钮置灰:也就是说在秒杀未到时间时,不可发送下单请求。前面我们已经将页面静态化,分发到了CDN,所以用户的刷新操作只会到CDN。这就削除了刷新操作导致的请求。

§ 秒杀按钮点击后置灰:即避免double-click,一个用户只能点击一次。限制用户点击次数,避免秒杀工具带来过量无效请求。

§ 秒杀前先做题:即在秒杀前需要先做题目,类似验证码功能,其实是降低了用户的点击频率,也限制了秒杀工具的使用。不过体验不好,不推荐使用。

§ 限制请求次数:可以用js判定,限制用户多少时间间隔内,只能请求多少次。在代理层也可以基于ip做次数限制,限制单ip的请求数量。

§ 直接跳转:假设秒杀已结束或秒杀队列已满,对后续的请求,直接跳转到秒杀结束页面。请求不再到达服务端。

§ 请求排队:通过消息队列、内存排队等手段,对请求进行排队。类似EDA、Reactor。当队列满了以后,可拒绝后续请求。


服务端优化

上面的「请求排队」,可以做在web服务层,也可以在服务端处理,亦可以两处都处理。除了排队,服务端的优化的核心手段就是缓存,尽量减少到数据库的数据访问,将热点数据缓存起来。


更极致的优化可能还涉及到:

§ 减少序列化:大家都知道Java序列化和反序列化都是比较耗时的操作,即使使用第三方的序列化工具,也是需要消耗时间的,尽量减少序列化操作,能减少这部分的时间消耗

§ 不要使用框架:现在一般开发都会使用框架开发,例如SpringMVC。SpringMVC使用了前端控制器,还包括很多的Filter,拦截器等,额外的增加了请求时间。使用纯Servlet,能降低此部分的时间消耗。因为毕竟秒杀逻辑简单,用不用框架,开发效率影响不大。

§ 使用字节流:即使用InputStream、OutputStream,不要使用Writer,Reader。与「减少序列化」类似,编解码也会消耗时间。


另外还有扣库存逻辑处理:

§ 拍下减库存:用户抢到后即扣除库存,但是如果用户抢到了不付款,最后秒杀的商品可能实际并没有卖出去。

§ 付款减库存:到用户付款后才去扣库存。这可能导致下单数量远超商品数量。导致的问题是,要么后付款的买家被提示付款失败。要么就是超卖。

§ 预扣库存:用户抢到即扣除库存。规定时间内没有付款则取消订单,恢复库存。这个是常用手段

上面说的秒杀系统的一般设计思路。然后我们就要来考虑秒杀系统的公平性!


公平?公平!

习惯性的思维告诉我们先到先得原则,即优先到达的请求,优先排队下单。这就导致,在秒杀结束前或请求被处理前,都需要等待,直到服务器处理后才有返回。

这明显增加了服务端的压力,这也是导致的吞吐性能被严重影响到。但不是根本原因。

根本原因是这样做就真的公平吗?!这就要看每个人对公平的理解了!我认为这世上「没有绝对的公平,只有相对的公平」!


你在秒杀系统里排队,保证先到先得,这就是公平吗?

§ 如果一个买家是1M带宽,另一个买家是100M光纤,他们同时秒杀,你能保证公平吗?

§ 如果你的服务器在北京,北京的买家是不是比广州的买家更容易秒杀到?你能保证公平吗?

§ 如果一个买家是万年死宅,手速奇快;另一个买家手不太灵活。你能保证公平吗?


既然不能,为什么要在服务端保证公平呢?!


秒杀就是拼个运气,只要不暗箱操作,那就是公平的。所以我们不保证先到达的请求就能先买到商品!客户哪知道他是不是先到的呢(虽然这样说,看起来不公平,但实际确实是这样)。所以放弃了所谓的公平。


使用了两个队列:

§ 前端node队列

§ 后端下单队列


大致请求流程如下:

§ 假设商品数量为100,那可以设定node队列长度为1000,下单队列长度为100

§ 秒杀开始后,node队列接收前端请求,先到先进。当队列满了以后,直接响应后面的请求,秒杀失败/结束。

§ node队列中的数据批量传递给后端的下单队列,由消费线程从下单队列中获取请求进行处理

§ 如果100个商品全部处理完成(下单后,规定时间内没有付款,取消订单,恢复库存),则秒杀结束

§ 如果100个商品没有处理结束,继续从node队列获取下一批数据处理

§ 如果node队列有空余后,后续的请求继续进入队列

§ node队列中的请求设置超时,规定时间内没有得到处理,直接返回秒杀失败/结束


总结

人员、技术、考量点的不同都会影响架构设计。一个符合当前人员、技术以及适合考量点的架构,可能能得到意想不到的效果。


目前晨通信息科技有限公司在汕头珠港新城,联泰时代总部中心3栋10楼,欢迎广大客户通过电话、微信咨询了解,电话是:18923665588,也可以拨打免费电话:400-830-3889。


联系方式:400-830-3889 地址:联泰时代总部中心T3栋10楼
Copyright 2006-2024 晨通科技 | 常年律师顾问:广东华通律师事务所 | 网站备案号:粤B1.B2-20071026 粤公网安备
在线咨询
预约上门
扫码添加企微客服
现在咨询,赠送企业量身定制方案。
打开手机扫码加我微信
预约上门演示
客户经理会上门或视频为你演示
服务项目
定制技术开发服务
APP/小程序定制开发
APP/小程序商城系统
扫码点餐/外卖系统
酒店订房/管理系统
企业建站服务
会员卡消费/管理系统
立即预约