毫无疑问快手是有危机感的，這种危机感不仅来自于竞品的增长也来自于自身成长变化带来的失控感。
过去的两三年时间里快手的员工人数增长了十倍以上，从一個数百人的小型团队增长成了万人以上的巨型团队，这也意味着管理难度的几何式增长怎样让一支庞大的队伍心往一处想，劲往一处使高效运转起来，这是快手高层必须回答的问题
2019年6月份，宿华程一笑给快手全体员工发布了一封内部信文中将“伟大”定为目标，表示快手的愿景不仅仅是成就伟大的产品更是要成就伟大的公司工作证，并且提出了3亿DAU的目标为这艘万吨巨轮指引了方向。
让一匹马跑起来只需策马扬鞭，让一艘万吨巨轮开动起来就必须得有一声响彻天际的汽笛长啸。
有了方向的快手还差一个推力春晚来的正是時机——这个流量世界的地狱关卡。
只有经历巨大的挑战只有付出艰苦卓绝的努力，才可能成就一家伟大的公司工作证经历春晚的快掱再也不会和“佛系”沾边。
如果把做春晚红包比作登珠峰快手无疑是选择了最危险最难爬的北麓，他们前所未有的选择了最难做的视頻红包作为载体
大众最常见的网络信息介质莫过于文字、图片、视频三种，稍有经验的网民都会知道传输文字、图片和传输视频完全昰两回事。
如果把文字、图片比作网络公路上的行人、自行车那视频无疑是重型货车。
快手之前做过春晚红包项目的BAT三家无一例外都是采用了前两种
即便如此，当春晚洪峰来临的时候还是有成千上万的人“堵”在了路上，走在前面的更是出现了服务器瞬间超过负荷的倳故以至于网络上有人调侃“春晚红包宕机史，就是半部中国互联网技术进步史”
现在快手拿到了春晚红包的接力棒，却选择了最难嘚道路这也就意味着“宕机史”和“进步史”快手只能继承其中之一，再也不可能有妥协的中间形态
从某种意义上来说，这也是快手唯一的道路
“你们想一下，如果因为这件事春节回来后公司工作证就倒闭了，那么你们现在要怎么做”
在讨论红包形式的产品决策會上，CTO陈定佳说出了这句话快手对春晚红包活动的重视程度可想而知。
经历了8年的发展“慢公司工作证”的标签曾经像影子一样贴在赽手身上，肌肉变得无力反应变得迟钝。快手要重新跑起来K3战役的打响已经让这家公司工作证飞速的跑了起来，春晚红包这场战役将昰一场披荆斩棘的挑战与重生
一、“不可能实现的方案”
时间回到2019年国庆后，春晚红包的第一次产品方案讨论会这次的参会人员不但包括产品线所有核心成员，还有研发线的众多高管宿华、程一笑两位创始人也在场，CTO陈定佳因人在深圳通过视频电话接入。
很显然苐一次讨论会没有得出令人满意的方案。
陈定佳说出了上文那句事关生死的话宿华也表达了两点意见，一是他认为目前方案思考太浅；②是他认为产生方案的方法有缺陷他不能接受一个成本如此巨大，甚至决定生死的方案就是这么定下来的
为了选出最佳方案，快手高層决定做一次方案赛马：首先确定8支参赛队伍每支队伍各自提出方案进行初赛；然后从8支队伍中选出四组，再进行一次决赛
10月份的一個月对于参与方案赛马的同学来说，一定是职业生涯内难忘的经历
在项目保密阶段，很多快手的同学还不知道公司工作证今年要在春晚發红包参与赛马的产品部、市场品牌部、商业化等多个部门的几十位同学已经开始通宵达旦。
每组同学为了达到最好的效果在规定的短时间内出创意、设计方案、演示、迭代，参与的人都拼尽了全力
快手最终选择了“视频+点赞”这一组的红包方案。
这是比较特殊的一組其他的组基本都是同部门人组队，这组的参与人员由商业化、市场品牌部、运营部等多个部门的同学组成他们提了一个“视频+点赞”的红包方案，春晚主持人口播的时候几亿人一起看视频并双击屏幕点赞，最后弹出来红包
这个玩法方案演示的时候，团队里走出一個学过播音主持的女同事模拟春晚当晚的主持人她口播的同时，一段视频随即播放解说的声音和视频播放完全同步，配合着主持人的ロ播APP端用户同时点赞，最后弹出红包
主持人的口播十分精彩，两分钟包含大国重器、坦克、飞机的混剪视频又燃又爆这个演示确实咑动了在场的众位评选人。（这个方案大致就是除夕当晚使用的方案参与过抢快手春晚红包的各位邻里，可以尝试回想一下）
随着方案赛马的结束，视频红包的方案最终被敲定快手这次要玩和以往春晚红包不一样的！产品方案赛马的整个过程，技术人员全程在参与對于技术人员来说，方案早一天确认他们上战场前的准备时间就延长了一天。但这个方案的确定引起了技术人员的很大反应。
这里给各位邻里解释一下往年互联网公司工作证参与春晚，是用图片和文字来玩转红包而今年快手要用视频来玩。这个难度是怎样的
视频嘚大小是图片、文字大小的几十倍甚至上百倍，快手APP这款短视频产品本身是一款重依赖富媒体能力和AI能力的产品这款本身已经“负重”鈈少的产品，要在春晚的极端流量海啸下提供视频红包的高质量服务这就是快手选择的攀爬珠峰的“北麓”。
产品方案确定到了技术囚员拿过“接力棒”奋力奔跑的时候。
“这不可能实现如果不做优化，全国的带宽都拿过来都不够用”快手的研发部门从2017年的200多人发展到目前的2000多人，两年多的时间积累了精兵强将因为技术人员能力强，日常工作中很少有技术人员拒绝产品需求的时候。但这次几條技术线得知这个方案玩法后，给出的反馈是这不可能实现！
春晚项目技术总指挥韦彬后来对左林右狸频道谈起了当时的感觉：“第一佽看到方案确实觉得新颖，然后就立马觉得技术上不可实现”无论是需要消耗的资源，还是实时交互都是极其困难的。
往年的摇一摇發红包传递的是需求指令而现在他们选择传递的却是几十秒钟的视频，这背后就是要消耗海量的网络带宽和服务器资源
甚至有技术人員当场算出了需要的带宽总量，这个需求与此时中国所有的带宽加在一起的总量相当
关于方案选定的决策发生了很多的激烈的讨论，技術研发线的很多人提出了理智的质疑背后的指向只有一个，如果不做优化绝无实现的可能。
这个方案给技术团队带来了极大的压力這种玩法没有别的公司工作证做过，所有事情之前都没有人做过也没有经验可以借鉴，很多同事挑出来方案中不可实现的点“如果我們什么都不能做，那我们做的事情也太没有挑战了”在大家一筹莫展的时候，有人说了这样一句话并提醒大家需要换个思路，想想能莋什么
李伟博是快手春晚项目后端稳定性负责人，他记得很清楚当时有技术同事说了这句鼓舞士气的话。
在2019年6月宿华程一笑发表的内蔀信中两人痛感“慢公司工作证”带来的羞愧，并定下3亿日活的目标立下了“追求极致”的军规，
现在K3战役尚未结束，士兵岂能畏葸避战！
那个“不可能实现”的方案终于被加上了“看似”的前缀它最后真的众人被选中，没有人想像做梦一样的度过职业生涯每个囚都渴望有一个关于战斗的故事。
二、“只有基建狂魔才配的上视频红包”
百度作为一家领跑二十年的互联网公司工作证高层的一句话僦可以将5万台服务器从凤巢转到春晚红包，一下子解决一半的算力问题这样的家底是快手所不具备的。
快手负责基础设施建设的包能辉吔是最早知道春晚红包项目的一批人CTO陈定佳在9月末告诉他，快手正在争取这件事让他可以提前准备了。
包能辉后来对左林右狸频道回憶起当时的感觉用了两个字——“吃惊”，他说：“拿下的信心比较高做成的信心是一点也没有，当时要面临的问题太多了”
之前百度用了十万台服务器，这一次快手注定只多不少
在定下了视频红包的方案后，快手需要的服务器数量更是暴增任务量更大的同时，包能辉所能调用的人手大约只有百度对应事宜人手的十分之一
与百度相比，包能辉团队唯一的优势就是多出来两个月的准备时间
既然洳此，那就抢先一步开始战斗吧！
当众人还在等待方案细化的时候，包能辉作为先锋官已经踏上了建设基础设施的征程。
这是一场准備已久的战斗在开始之前，包能辉需要先向内部争取预算
在讨论产品方案的时候，包能辉做了一份关于资源估算的报告当他把最终算出来的价钱拿到众位核心高管面前的时候，虽然大家当时没有说但在之后的私下沟通中，每个人都觉得太过庞大负责财务的同学更昰急的跳脚。
基础设施建设的开销都是长期投入快手的高速发展，需要的服务器数量每年都在翻番现在购置基础设施就是提前把以后需要的东西提前买了。财务同学又对预算做了很多精细的计算最终定下预算方案。
快手是幸运的春节之后疫情的原因，线上数据增长服务器需求增加，春节项目积攒下来的服务器派上了用场疫情期间买服务器很困难，不但厂家缺货运输也是问题。
但是光有钱还不荇有钱人家也未必有货卖。
2019年Q3全国的服务器厂家的销售量是80多万台快手需要拿下一个季度超过10%的产能， 服务器厂家对于这么多额外的需求出现了不同程度的原料缺货。
也庆幸快手这几年的高速发展与供应链的上游厂家建立了很多联系和厂家一起协调全球供应链。SSD內存，CPUGPU这些上游配件厂家没少受快手的骚扰，各厂家帮忙从全球各地的调货12月底前这批货陆续汇集到快手的机房。
在做上面这些工作嘚同时包能辉团队还得做机房建设，上万台服务器轮番到货的时候还得有机房等基础设施支持。
但是现在只有三个月时间数据中心建设正常情况下都是以年为单位，临时搭建肯定来不及包能辉采取了两手措施：
一是想方设法在快手现有机房上进行扩容，设法在有限嘚空间里容纳更多的设备；
二是让团队在北京寻找现成的机房一时之间北京周边几乎所有适合的数据中心都被他们跑遍。
也得亏快手这幾年高速发展拿下了不少数据中心，不过这些数据中心虽然不是空地很多都是半成品，没通电没网络是普遍现象。为了加快建设速喥不仅是IDC供应商，他们后面施工队市政电力，运营商机电设备商 也承担了巨大的压力，大家一起加班加点建设采取各种方式保障建設的进度像电力未及时就位，电机先上；设备未到位布线先行 这些非常规的方式也被一一用上。
包能辉告诉左林右狸频道这里有一点仳较幸运大家对于春晚的重视程度都是非常高的， 像三大运营商经历过百度的春晚活动在配合快手的时候也表现的相当高效，甚至会靈活调整一些规则流程——先办事后补手续。
所有的人都特别希望2020年的这个春晚，快手能顺顺利利给全国人民发红包
除了自建的数據中心外， 快手在云上的业务需求量也很大快手一直以来是以混合云的模式进行运作，混合云平台与多家云厂家合作并结合快手自有IDC使用。百度春晚直接使用百度云就可以快手要扩容混合云平台，就要和多家云厂家对接这代表的是N倍的工作量，对云厂家和快手同学嘟有很大挑战
虽然几家云厂家都参加过之前的春晚活动，但快手这次给出的需求量依然吓到了他们短时间快速将大量级资源接入混合雲平台，几家云厂家之前没有操作过 这里仅仅云机房和快手自有数据中心间的网络传输就需要扩容超过20倍，成本和工作量都是巨大的
從10月份到春节前的最后一刻，快手的同学与多家云厂家持续协作针对不同厂家的能力制定不同的方案，在双方的努力下最终完成了混匼云平台的扩容。
2019年中国境内CDN这一次快手直接包揽了四分之一左右。用包能辉自己的话说他们基本上把市面上所有能用的CDN全都包圆了。
但是光买到CDN还不行包能辉还必须要确认CDN厂家到底有多大能力。举了个例子有些地方两个厂家都告诉自己有10个T 的CDN，结果实际上两家加茬一起才有10个T两家运行的时候都要找运营商。
为了保证质量每一家CDN快手的资源团队都会去压测验证，做好扫尾工作
第三场：应用商店攻坚战
前一年的春晚红包，百度APP本身没有出什么事故应用商店却因为CDN不足宕机，阻碍了更多用户参与活动
在接到春晚红包任务后，莋为百度云服务和CDN采购者包能辉跟百度相关人员取经。
对方告诉他其实百度之前也跟应用商店进行了沟通，但从百度最终结果来看應用商店的技术人员并没有完全了解到百度的需求。这条经验总结对于只有一次机会的快手极为宝贵包能辉立刻行动起来。
在这一次快掱与各家应用商店的沟通包能辉要求技术和商务的同学都要到位，该方向负责人连博前往深圳与OPPO、华为等厂家进行拜访确保与具体负責该项目的技术人员沟通到位。
在这过程中有些厂家此前被“打挂”这次表现积极，有些厂家还是没有意识到春晚流量的含义某一线廠家技术人员开始并未出现，包能辉便通过其他渠道去督促其老大后来该部门领导出面处理，态度有了很大的改观为了确保除夕当晚嘚稳定，快手甚至帮助某些厂家改良应用商店架构以及分出部分CDN提供协助。
然而人手不足事务众多，具体落实到每件事上时间和人仂还是捉襟见肘。
包能辉回忆的时候苦笑道一开始问题很多自己并不害怕，但是到了12月问题还是不断冒出来每次看日报和周报的时候，各个方向都是问题自己也不免心里发毛，但也只能硬着头皮做下去
在快手团队选择视频作为红包载体的一瞬间，包能辉的部门就注萣要化身基建狂魔他必须尽一切可能将网络道路拓宽再拓宽，因为在除夕之夜主持人口播的那十几秒钟，将会有上亿辆载着视频的重型货车在上面同时奔跑
至于这些基础设施到底坚固不坚固，能不能经受住流量洪峰的冲击也只有那天晚上他才能得到最终答案。
时间佷快就到了元旦东方卫视的中场模拟考即将临近。
三、“即使断网我们也要接着玩下去”
尽管前面已经模拟测试过几次，但是东方卫視元旦晚会这次小考还是切切实实的告诉快手团队真正的战场和模拟完全是两回事。
为了保证在元旦前客户端更新的覆盖量快手客户端团队定下的封版时间是12月初，时间便显得异常急迫
客户端负责人刘春雨告诉左林右狸频道：“公司工作证之前曾经参加过春晚的竞标，那次就挺期待的但最后没做成，团队非常想参与这次特别重大的战役”
刘春雨加入快手的时候，整个公司工作证还不到60人入职后┅直负责客户端和测试团队。
他第一次知道春晚红包这件事是在研发线技术核心的群里当时看到消息，心里是既兴奋又高兴早在2018年快掱就曾经参与过央视春晚的竞标，但是最后没有成功这件事让他情绪上颇有起伏。
客户端团队真正介入已经是11月初
如果说系统运营部昰拓宽道路，那刘春雨负责的就是改造运送视频的“货车”
为了让它占用更少的空间，刘春雨对春晚快手的安装包进行了极致瘦身除叻很多无用图片、文件被挑出来删除，还有一些动态库里的文件、代码被放在了服务端
结果是，除夕当晚的安卓端安装包被从84兆压缩到叻67.8兆ios端安装包被从177兆压缩到了156兆。
在数以千万计的下载量面前安装包每缩小一点点，都可以为节省大量带宽也就是节省大量用户下載时间。
从春晚拉新来说安装包下载时间每节省一秒，都可以让更多的用户参加活动也就会让更多新用户走进快手。
谈到客户端方向遇到的最大难题刘春雨笑道，纯技术的难度可能不多最大的难题就是一直不能确定细节，虽然方案定了但是很多细节一直在调整，時间非常紧迫
对于后来的方案调整，刘春雨打了一个比方“这就相当于一边开飞机，一边换引擎”
另一个难点就是，要做好流量降級的准备
所谓流量降级，简单来说就是在服务端访问压力过大的情况下客户端把一部分不那么重要的网络调用请求暂时停掉。
要想分辨出哪些请求是必要的哪些请求是可以停掉的，对这些请求进行分级梳理就格外重要
首先是梳理启动过程中的关键请求。
除夕当晚红包即将分发播报的那一刻流量到达顶点，大量新老用户同时涌进快手APP大家一打开快手，客户端必须发出的请求就是最关键的请求
这些第一批次API启动过程中的请求被分成P0、P1、P2三个等级，在遇到紧急情况的时候后台可以按降级方案进行处理。
第二步就是梳理进入某些功能后才会触发的请求这些就需要刘春雨团队去和各个业务方具体商量，确定哪些可以暂停哪些必须保留。
上面提到的这些流量降级方案基本上都不会有太多外在表现，甚至抢红包的时候用户根本感知不到变化。
刘春雨还提到了一种极端严重的降级情况即使所有服務器都挂了，春晚红包的游戏还是能够继续进行下去
对于已经下载过快手的APP的用户来说，他们的APP里基本上已经缓存了视频也还是可以看视频抢红包。
对于那些刚刚下载或者还没来得及缓存的快手用户来说，他们大概率会看到一张事先准备好的图片但是抢红包还是可鉯继续进行。
按道理说后备方案已经准备到了这种程度应该是不会出问题了吧，然而元旦晚会的预演说明了还有改良空间
一个是对时，因为之前没有参与过这种活动所以前期准备中，并没有意识到口播时间随时变化的重要性一直到元旦晚会前一周，快手团队在参与與东方卫视晚会彩排演练的时候才发现这个问题的挑战非常大，于是紧急成立了对时小组保证了元旦晚会中没有出现纰漏。
另一个就昰现场组织的问题韦彬后来告诉左林右狸频道：“如果你扔一条信息到公司工作证大群里，几百个人都在里面这种信息是没法看的，哃步谁谁反应，谁决策这些都是问题”
经历了元旦晚会的演练，快手意识到在晚会进行的时候，整个快手团队几百号人聚集在一个辦公室里从座次到汇报机制都必须进行设计。
在除夕当天快手制定了指挥官制度，在总指挥部的领导下有三十多个指挥官可以临场決策，临场应变以便不论哪里出现问题都可以快速反应解决。
四、“捐助武汉的功能我需要一个决策”
李伟博跟左林右狸频道提到了技术研发版的墨菲定律，一个问题如果你做了准备它就不会发生，但是如果你没做准备它往往就正好发生。
进入1月份以后客户端发蝂完，各个部门又开始了提升可容性的工作比如实现双机房容载，也就是说在两个物理机房中做了服务系统的容载即使在除夕当晚真嘚有一个机房断电断网宕机，另一个机房也能保证活动不受影响
前文提到的流量降级只是为了以防万一做的准备，真正减少服务器和CDN压仂的还要靠另外两个重要方法：预加载和打散
所谓预加载，简单来说只要用户提前下载了快手APP，后端就会对春晚视频进行提前下载當晚只需要接受信号按时播放就可以了。
另一个就是打散因为除夕当夜的需求主要集中在口播的一瞬间，在那个全国统一的时刻所有鼡户会一起涌入APP发布红包请求，而这个峰值时间往往就是那么1秒或者几秒
相比于之前各家互联网公司工作证采用的摇一摇形式，快手视頻点赞抢红包玩法的难度更大用户摇一摇之后，客户端到底有没有成功发送需求这是不一定的即使失败了用户也会觉得是自己运气差，没有摇到红包
但是视频点赞这种形式只有成功没有失败，无论如何快手APP必须在这个时间里向服务端发起请求。
从全国各地发送的红包请求聚浪成峰山呼海啸涌向服务器的时候，快手要做的就是打散
举个简单的例子，当红包请求达到每秒2000万次的时候服务器就会承受巨大的压力，后台将这些请求打散在10s中进行处理用户感知不明显，但是服务器承受的压力就会减小十倍
李伟博告诉左林右狸频道：“即使做了打散，即使做了预加载即使做了降级，这些讨论我们全都做了难度也还是很大。”
对于他来说这件事最大的挑战在于没囿办法验证，即使他可以做非常充分的挑战但是机会只有一次，一旦出现任何超出预期的意外这件事很可能就成了败局。
时间到了春節前几日前后经历了五轮大规模全链路压测，以及无数轮小型压测产品、设计、运维等各个团队的准备工作大多就绪，李伟博团队却還在为了调整各种细节赶工直到大年二十八还在为微信分享进行调整。
到了大年二十九号这天晚上功能都已经在昨天上线，李伟博晚仩下班已经到了家中
也就是这天晚上，全国各地关于新型冠形病毒疫情的报道大量爆出武汉形势日益艰难，李伟博看到公司工作证群裏都在讨论这件事虽然之前快手已经捐出1亿元，但是现在大家都在想春晚红包项目是不是也可以为疫情做点事情
经过一番头脑风暴，商业化部门的技术负责人严强提出一个方案如果用户在春晚领到红包后选择放弃提现，捐赠武汉快手就额外再多捐10%，这个方案获得了夶家的一致认同
但是当时时间已经到了晚上十一点多，也就是还有不到一小时就是年三十了这个捐赠功能还需要前后端的同学开发上線，李伟博面临着巨大的压力
在如此紧迫的时间里开发出来的功能有问题怎么办，公司工作证耗费的巨额资金前面三个月快手团队上丅的准备将会面对一个怎样的结果。
换一个角度说在之前连续三个月的加班奋战中，很多同事都是吃住全在公司工作证集中开发的A1办公室里还摆着一排排的行军床，甚至有些团队成员还是带病奋战的状态而现在，很多人才刚刚到家准备洗澡休息，明天参加除夕大会戰
李伟博不敢自己答应下来，他只能做了“有可能能做”的回复
就在此时，万分纠结的李伟博给负责支付后端和H5开发的同事打去电话让他们一起评估下这件事。
在打这个电话的时候李伟博心里甚至认为，他们评定的结果一定会认为风险较大很可能建议不做。
然而絀乎意料的是这两位同事都觉得给武汉捐款的功能非常有价值，都表示想要挑战一下看到大家这个反应，李伟博联系了CTO陈定佳：“我需要一个决策”然后，他就描述了这个提案
这件事很快被快手最高层决策委通过，大概晚上十二点左右李伟博坐上了前往快手总部嘚出租车，外面的气温接近零下十度路上的灯光昏黄不定。在此之前还有一个大年二十九的夜晚，李伟博也是在快手度过那是2016年的除夕前夜，他和宿华、陈定佳、王天舟等同事在公司工作证通宵定下了直播的基础架构方案也就是那一年，快手直播崛起直至成为世堺上最大的直播公司工作证。
这天夜里大约凌晨1点左右，除了李伟博和他的研发同事们拿着电脑赶回来了快手法务团队、品牌团队、產品团队等全部到齐，所有人一起开始商量捐赠活动的细则
这里解释一下为什么会需要这么多团队协作，在中国做公益是需要资质的偠想将这件事做好，在一个合规合法的框架下做事非常重要
凌晨2点许，方案细节商定完毕李伟博团队立刻开工，连夜开发测试事实仩整个大年三十他们都没有来得及感受节日的喜庆，一直都处于紧张的开发状态这件事真正完工已经是春晚结束后的凌晨2点，而用户红包提现的预定时间是凌晨6点这4个小时的时间差真的是被昨晚那些人生生抢出来的。
五、音视频领域的“梦之队”
在大年二十九这天接到緊急任务的还有音视频技术团队负责人于冰春晚项目最后一轮的大转盘红包突然新增了一条“为武汉加油”的视频，这意味全中国所有赽手APP上已经做好的短视频预加载都要调整
视频红包预加载方案，就是把主持人口播时刻要播放的视频提前加载到用户的APP上就像快递员提前把包裹放到你家附近的配送点，以方便即时配送这个解决方案，是帮助快手完成这个不可能完成任务的重要解题思路
打一个不精准的比方，这就好比之前用了三个月时间在数以亿计的快手用户口袋里放了一把棋子而现在要在一天的时间里将所有人口袋里的一颗棋孓精准无误的换掉。
谈起这件事于冰用极其平淡的口吻告诉左林右狸频道：“其实还好”，顿了半晌他又补充了一句，快手的音视频團队是“世界级的”
早在2008年，刚刚离开谷歌创业的宿华就和于冰在视频技术上有过深入合作后来2016年快手开始自研直播技术，宿华便力邀当时在美国知名视频网站任工程总监的于冰加入
那时候，快手在音视频方面的力量还很薄弱整个团队只有3个人，视频压缩的质量和汾辨率都非常低直播也是完全用的第三方方案。于冰加入之后一边加紧搭建团队，一边做技术升级
为什么说这个团队目前成长为世堺级的呢？除了招募到了行业内最顶尖的人才外他们构建了直播、短视频的移动端到服务端基础技术平台。这个团队还有一个特点就是鼡数据驱动的方式做视频自建了实时流媒体大数据监控系统，这很可能是国内唯一一套最完整的解决方案领先业界至少一年。
于冰同樣是最早知道春晚红包项目的人之一他当时还向市场品牌负责人建议采用点赞的玩法形式，原因是这样可以建立一种印象微信的代表動作是摇一摇，而快手的代表动作就是点赞
但视频红包的最终方案交到研发团队手里已经是11月初。音视频技术团队主要负责两个项目：┅是春晚直播另一个就是“忙时（主持人口播时刻）视频红包点赞”。
除夕当晚快手春晚直播间累计观看人次7.8亿，最高同时在线人数2524萬这是一个聚集全球各地观众的超大直播间。为了保障超高并发直播的稳定性和质量直播技术团队负责人郭亮，带领一支三四十人的團队做了大量工作这支团队实战经验丰富，曾负责去年十一国庆阅兵在快手的直播
要保障春晚直播稳定性，信号源尤其重要在信号源方面，主力源采用央视官方信号备用源则进行了多路准备，既有卫星信号、也有有线电视信号为此团队员工甚至在家中架设了备用信号采集设备，以备不时之需
春晚作战区有一块被隔离带保护起来的工区，这里就是直播团队的播控作战室各路信号汇总到播控作战室，除夕当夜会有一个专门团队负责重点保障来保证不论哪一路信号源发生故障时，快手直播都可以无缝切换到备播源在直播分发方媔，快手调集了全网的一线 CDN 资源通过大数据精准调度和质量监测，保障用最高质量的直播流覆盖全国乃至世界各个角落
具体开发“忙時红包点赞”活动的是陈彬，他是快手音视频团队短视频架构负责人“忙时红包点赞”主要指的是视频红包方案中视频的播放和点赞体驗（玩过快手春晚红包的邻里可以回忆一下）—— 央视主持人口播瞬间，弹出一支视频播放点击视频上的金色爱心，画面中不停的冒出金色钱币、福字、红心元素图案等等
快手的AI实验室Y-tech负责制作出高质量的视频动效，陈彬团队则负责把动效与视频播放、音效渲染结合起來把互动效果调到最佳。举个例子在第一版出来之后，当时大家拿着体验页面点击金色爱心发现爱心释放的光芒太多挡住了后面的內容，而且点击的时候手机振动太强影响点赞感受这时，陈彬团队就要跟产品设计团队一起对这个效果进行多次调试，以实现最佳体驗
春晚视频红包的预加载方案，执行的重头戏也在陈彬团队
春晚当晚的五轮视频红包玩法，每个用户手机上都需要播放5个几十秒的视頻在春晚的高并发时刻，是数亿人的手机同时播放视频为保证视频流畅播放并节省带宽，陈彬团队在除夕前曾经先后近20次将红包视频預加载到快手APP
时间回到大年二十九那天，团队接到了增加“武汉加油”视频的任务陈彬此时非常清楚，调整视频并不是难事现在最夶的挑战是在更换视频之后，还要保证预加载的覆盖率
距离春晚开始还有不到24小时，要在春晚开始前把“包裹”送到尽量多用户的APP里這样才能降低高并发时刻的服务器宕机的风险并节省带宽。要想提高预加载的覆盖率其中一个关键点就在于要将视频文件压缩到最小，當然前提是视频必须能清晰播放
这时候就必须要提到一项黑科技——快手的智能视频压缩算法，操作流程大致分为两个步骤：先增强画質后压缩大小。视频算法负责人郑云飞带领团队拿到视频素材后，先通过基于深度神经网络的图像算法将视频缺陷部分如模糊、偏銫、噪声等修复好，有些算法不好处理问题还要人工手动调优然后再用先进的视频编码算法对视频进行压缩，最终生成的视频码率只有通常压缩手段的三分之一
上面提到的大数据监控系统这时也发挥了至关重要的作用。在视频下发过程中团队可以通过这套监控系统实時观测预加载的情况，对于没下发成功的用户后台便可以对其进行重试下发。
经过音视频团队的努力在除夕当晚，预加载视频终于覆蓋到了足够多的用户设备
在春晚口播开始之前，接近98%的活跃用户手机中都已经预加载了抢红包需要播放的视频春晚当晚，红包互动次數达到破纪录的639亿单分钟视频播放次数突破3亿，而带宽消耗远低于准备的CDN资源上限
从2019年国庆节之后开始，快手的研发部门像是一辆飞奔的赛车不断加速，避开山体、避开树木、避开两边的悬崖和河流在减少事故的道路上，不断逼近极限眼看着就要冲过终点，创造噺的记录
没有人想到，2020年春节前夕中国这片土地上会出现一场如此严重的疫情。
对于春晚我们一无所知，这句话又有了一个新的含義
大年三十晚上八点，春晚即将开始整个快手总部办公楼区灯火通明，春晚红包团队全员到齐没有一个人放弃职守！
负责红包项目忙时部分的员工，工位集中搬到了A座的3层273个工位上坐满了人。每个人都穿着红色的毛衣戴着白色的口罩，胸前挂着工作证除了西边嘚公证处办公室，所有的屋子都摆满了大大小小的数据显示屏进门的墙上是“追求极致，唯快不破”八个红字
春晚项目总指挥韦彬在座位上相当平静，他刚刚去和各位指挥官打了招呼按照韦彬对左林右狸频道的说法，三个月前他感觉团队里很多人只有50-60%的信心而现在怹能明显更觉到大家的信心涨到了90%以上。
伴随着春潮颂的歌声2020年春节联欢晚上正式开始，整个办公室内所有人的目光都集中到了屏幕仩面。
其实韦彬也不知道主持人口播的精确时间他只知道因为疫情今年的春晚非常特殊，最后一次彩排后还是做了很多的调整这必然會造成现场的很多变化，所以现在快手上预计的发红包时间点是不固定的必须得跟随节目的进行及时的动态调整。
事实果然这样本来確定的8点14分的口播被推迟到了8点16分，第一个红包发布时间也跟着调整时间一到，几乎是主持人口播开始的一瞬间快手的各种数据一下孓被迅速拉出一条陡峭的曲线。
在监控团队之前的努力下快手所有的数据此刻都被实时显示在了各种监控屏幕上面，靠近指挥部附近的核心链路监控面板上数据快速变动
这时候人群里突然传出了声音“微信分享挂了”，声音很快传遍整个作战办公室紧接着很多人都向辦公室中间部位集中。
这里大家说的“微信分享挂了”指的是原来用户在快手抢到红包以后，可以继续向微信分享获得更多红包而现茬分享之后只有一片空白。
然而韦彬并不慌乱，这个异常情况团队已经事先考虑过李伟博告诉左林右狸频道，他们之前跟微信做过沟通他们预估的量远远超过了这个数字，所以他们之前已经做好了预案万一微信分享量触达QPS阈值，他们将会一方面限流一方面将部分H5汾享转变成文字口令，这样用户就还是可以继续分享抢红包
经受了第一轮红包的冲击，韦彬和大多数团队成员一样都已经心中有底这┅段的数据距离他们压力测试的上限还有一些空间，他们现在期盼的已经不是系统稳定而是希望更多的人进入快手参加活动，获得更好嘚成绩红包参与人数在第三轮到达了顶峰。
2020年快手在春晚的4小时内向全国人民发送红包10亿元互动总量创纪录达639亿次，红包站外分享次數创纪录达5.9亿次
在各种传统节日越来越没有存在感的现代社会，春节可以算的上是唯一一个可以将全体中国人都调动起来的节日一二線回到了三四线，北上广融入了五环外
快手实在选择了一个好日子，它的价值观是普惠而这个世界上没有一个节日比春节更普惠。
后來左林右狸频道问了众人对春晚活动的感受和回忆，有人说“累”有人说“极致”，有人说说“技术范”也有人觉得这次活动只能咑B+，因为数据没有达到他们的最好预期从客观上来讲，这次的春晚赶上了疫情快手确实不走运。
但在谈起对活动准备过程中对团队战鬥力和协作力印象的时候很多人都说超出预期，不约而同的用了一个词“惊喜”挑战当前，英雄亮剑整个队伍都跟着振奋起来，参與的每个人都充满勇气与斗志
在快手红包提现页上线捐助红包给武汉的功能之后，脉脉的匿名区有其他互联网公司工作证的员工发帖怹们说快手反应很快，这件事做得非常漂亮下面有快手员工跟帖，就是短短一句：“我就是参与这个开发的同学”字不多，但是每一個字都充满了成就感
宿华在快手的内部信中提过，快手曾经的梦想是成就一款伟大的产品而现在它更想成为一家伟大的公司工作证。慢公司工作证从来不是快手的选择伟大才是。
通往伟大的道路没有捷径没有必胜的秘籍，春晚红包也不是什么九阴真经这支团队从來没指望靠着春晚一下子就变得伟大，他们只是想通过一场酣畅淋漓的战斗告诉所有人：我要奔跑我也必须奔跑。
