微博“异地多活”部署经验谈

  • 时间:
  • 浏览:10

利用Docker提升前端快速扩容能力。借助Docker的动态扩容能力,当流量过大时段钟级从或多或少服务池摘下一批机器,并完成本服务池的扩容。刚刚还可以将各种资源也纳入到Docker动态部署的范围,进一步扩大动态调度的机器源范围。

(题图来自:jimijones.com)

推进Web层的异地部署。假如有一天远距离专线成本巨大且稳定性没能保障,朋友儿已暂时放弃远程异地部署,而改为业务逻辑近距离隔离部署,将Web层进行远程异地部署。一起,计划不再依赖昂贵且不稳定的专线,而借助于通过算法寻找较优路径的依据 通过公网进行数据传输。没能 朋友儿就还可以将Web层部署到离用户更近的机房,提升用户的访问性能。依据 朋友儿去年做微博Feed全链路的经验,底下链路占掉了90%以上的用户访问时间,将Web层部署的离用户更近,将能大大提升用户访问性能和体验。

先得话微博内部管理的历程,整个过程可谓是一波多折。微博的主要机房都集中在北京,非要很小一累积业务在广州部署,2010年10月,因微博高速发展,所以准备扩大广州机房服务器规模,并对微博做异地双活部署。

以下是方案选型时还可以 考虑的或多或少维度:

这套方案中,每个机房的缓存是删剪独立的,由每个机房的Processor(专门负责消息补救的应用程序,类Storm)根据收到的消息进行缓存更新。假如有一天消息不用重复采集,假如有一天信息完备,所以MytriggerQ方案占据 的缓存更新脏数据大问题就补救了。而当缓存不占据 时,会穿透到MySQL从库,假如有一天进行回种。假如有一天经常冒出的大问题是,缓存穿透,假如有一天MySQL从库假如有一天此时经常冒出延迟,没能 就会把脏数据种到缓存中。朋友儿的补救方案是做一一六个 延时10分钟的消息队列,假如有一天由一一六个 补救应用程序来根据或多或少消息做数据的重新载入。一般从库延时时间不超过10分钟,而10分钟内的脏数据在微博的业务场景下也是还可以接受的。

升级跨机房消息同步组件为跨机房消息同步服务。面向业务隔离跨机房消息同步的复杂性性,业务只还可以 对消息进行补救即可,消息的跨机房采集、一致性等由跨机房同步服务保障。且还可以作为所有业务跨机房消息同步的专用通道,各个业务均还可以复用,之类于于快递公司的角色。

第一套方案未能成功,但也让朋友儿认识到跨机房消息同步的核心大问题,并助于朋友儿全面下线MytriggerQ的消息同步方案,而改用基于业务写消息到MCQ(MemcacheQ,新浪自研的一套消息队列,类MC协议)的补救方案。

而配套体系的大问题,技术上都会很复杂性,假如有一天操作时却很容易出大问题。比如,微博刚刚刚刚开始做异地多活部署时,测试同学没能在上线时对广州机房做预览测试,没能 意味过或多或少线上大问题。配套体系还可以 覆盖整个业务研发周期,包括方案设计阶段的是是否是要做多机房部署、部署阶段的数据同步、发布预览、发布工具支持、监控覆盖支持、降级工具支持、流量迁移工具支持等方方面面,并需开发、测试、运维都参与进来,将关键点纳入到流程当中。

异地多活的好处阿里巴巴的同学假如有一天充分阐述,微博的初始出发点包括异地灾备、提升南方电信用户访问速度、提升海外用户访问速度、降低部署成本(北京机房机架费太贵了)等。通过实践,朋友儿发现优势还包括异地容灾、动态加速、流量均衡、在线压测等,而挑战包括增加研发复杂性度、增加存储成本等。

微博的异地多活方案如下图(一一六个 节点之类于,消息同步都会通过WMB):

2011年底在微博平台化完成后,刚刚刚开始启用基于MCQ的跨机房消息同步方案,并开发出跨机房消息同步组件WMB(Weibo Message Broker)。经过与微博PC端等部门同学的一起努力,终于在2012年5月完成Weibo.com在广州机房的上线,实现了“异地双活”。

跟阿里巴巴遇到的大问题之类于,朋友儿也遇到了数据库同步的大问题。假如有一天微博对数据库都会强依赖,加带数据库双写的维护成本过大,朋友儿选则的方案是数据库通过主从同步的依据 进行。这套方案假如有一天的缺点是假如有一天主从同步慢,假如有一天缓存穿透,这时假如有一天会经常冒出脏数据。或多或少同步依据 已运行了三年,整体上非常稳定,没能占据 假如有一天数据同步而意味的服务故障。从2013年刚刚刚开始,微博启用HBase做在线业务的存储补救方案,假如有一天HBase三种不支持多机房部署,加带早期HBase的业务比较小,且有单独接口还可以回调北京机房,所以没能做异地部署。到今年假如有一天HBase支撑的对象库服务假如有一天成为微博非常核心的基础服务,朋友儿也在规划HBase的异地部署方案,主要的思路跟MySQL的方案之类于,同步也在考虑基于MCQ同步的双机房HBase独立部署方案。

假如有一天广州机房总体的机器规模较小,为了提升微博核心系统容灾能力,2013年年中朋友儿又将北京的机房进行拆分,至此微博平台实现了异地三节点的部署模式。依托于此模式,微博具备了在线容量评估、分级上线、快速流量均衡等能力,应对极端峰值能力和应对故障能力大大提升,刚刚历次元旦、春晚峰值均顺利应对,日常上线意味的故障也大大减少。上线后,根据微博运营状态及成本的还可以 ,也曾数次调整各个机房的服务器规模,假如有一天整套技术上假如有一天基本性心智心智心智心智性成熟图片 。

借助微服务补救中小服务依赖大问题。将对资源等的操作包装为微服务,并将中小业务迁移到微服务架构。没能 只还可以 对2个微服务进行异地多活部署改造,众多的中小业务就不再还可以 关心异地部署大问题,从而还可以低成本完成众多中小服务的异地多活部署改造。

数据同步大问题补救刚刚,紧接着就要补救依赖服务部署的大问题。假如有一天微博平台对外提供的都会Restful风格的API接口,所以独立业务的接口还可以直接通过专线引流回北京机房。假如有一天对于微博Feed接口的依赖服务,直接引流回北京机房会将平均补救时间从百毫秒的量级直接升至几秒的量级,这对服务是无法接受的。所以,在2012年朋友儿对微博Feed依赖的主要服务也做了异地多活部署,整体的补救时间终于降了下来。当然这都会最优的补救方案,但在当时微博业务体系还相对简单的状态下,很好地补救了大问题,确保了2012年5月的广州机房部署任务的达成。

根据微博的实践,一般做异地多活都会遇到如下的大问题:

以上介绍了一下微博在异地多活方面的实践跟生得,也对比了一下阿里巴巴的补救方案。就像没能完美的通用架构一样,异地多活的最佳方案也要因业务状态而定。假如有一天业务请求量比较小,则根本没能必要做异地多活,数据库冷备足够了。不管哪种方案,异地多活的资源成本、开发成本相比与单机房部署模式,都会大大增加。

第一版跨机房消息同步方案采取的是基于自研的MytriggerQ(借助MySQL从库的触发器将INSERT、UPDATE、DELETE等事件转为消息)的方案,或多或少方案的好处是,跨机房的消息同步是通过MySQL的主从完成的,方案性心智心智心智心智性成熟图片 度高。而缺点则是,微博同一一六个 业务会有好几张表,而每张表的信息又不全,没能 每发每根绳子 微博会有多条消息先后到达,没能 意味有较多时序大问题,缓存容易花。

以上是对微博异地多活部署的或多或少总结和思考,希望还可以对朋友儿有所启发,也希望都看更多的同学分享一下人个 所有公司的异地多活架构方案。

阿里巴巴选则了单元化的补救方案,这套方案的优势是将用户分区,假如有一天所有或多或少用户相关的数据都会一一六个 单元里。通过这套方案,还可以较好的控制成本。但缺点是除了主维度(阿里巴巴是买家维度),或多或少所有的数据还是要做跨机房同步,整体的复杂性度基本没降低。另外假如有一天数据分离后假如有一天拆成了合适两份数据,数据查询、扩展、大问题补救等成本均会增加较多。总的来讲,当时人认为这套方案更适用于WhatsApp、Instagram等国外业务相对简单的应用,而不适用于国内功能复杂性、依赖众多的应用。

原文发布时间:2015-04-29

关于为应对故障而进行数据冗余的大问题,阿里巴巴的同学也做了充分的阐述,在此也补充一下朋友儿的或多或少经验。微博核心池容量冗余分一一六个 层面来做,前端Web层冗余同用户规模成正比,并预留日常峰值3000%左右的冗余度,而后端缓存等资源假如有一天相对成本较低,每个机房均按照整体两倍的规模进行冗余。没能 假如有一天某一一六个 机房不可用,首先朋友儿后端的资源是足够的。接着朋友儿首先会只将核心接口进行迁移,或多或少操作分钟级即可完成,一起假如有一天冗余是按照整体的3000%,所以即使所有的核心接口流量删剪迁移过来还可以支撑住。接下来,朋友儿会把或多或少服务池的前端机也改为部署核心池前端机,没能 在一小时内即可实现整体流量的承接。一起,假如有一天故障机房是负责数据落地的机房,DBA会将从库升为主库,运维调整队列机开关配置,承接数据落地功能。而在整个过程中,假如有一天朋友儿核心缓存还可以脱离数据库支撑一一六个 小时左右,所以服务整体会保持平稳。

时间到了2015年,新技术层出不穷,刚刚所以成本很高的事情目前都会了很好的补救方案。接下来朋友儿将在近五年异地多活部署探索的基础上,继续将微博的异地多活部署体系化。

本文来自云栖合作依据 伙伴“linux中国”

假如有一天几十毫秒的延时,跨机房服务调用性能很差,异地多活部署的主体服务还可以 要做数据的冗余存储,并辅以缓存等构成一套独立而相对删剪的服务。数据同步有所以层面,包括消息层面、缓存层面、数据库层面,每一一六个 层面还可以做数据同步。假如有一天基于MytriggerQ的方案的失败,微博刚刚采取的是基于MCQ的WMB消息同步方案,并通过消息对缓存更新,加带微博缓存高可用架构,还可以做到即便数据库同步有大问题,从用户体验看服务还是正常的。