這個明顯不同的春節(jié)，讓中國互聯(lián)網(wǎng)人迎來了一場技術(shù)大考驗。一些在線產(chǎn)品在這期間保持了持續(xù)不斷的十倍、幾十倍的業(yè)務(wù)容量增長。很顯然，如此超高的并發(fā)流量并不在很多公司的預(yù)期內(nèi)，到底能漲到多少，阿里和騰訊都表示沒有底兒。大家只能不斷地堆資源：釘釘 8 天擴(kuò)容 10 萬臺服務(wù)器，騰訊在線會議緊急擴(kuò)容 100 萬核。
整個系統(tǒng)需要的資源是超乎想象的。
據(jù)說第一周當(dāng)釘釘?shù)墓こ處熓状伟奄Y源需求提給阿里云的時候，阿里云的同事以為釘釘是在吹牛。
同樣的事情也發(fā)生在騰訊。經(jīng)過持續(xù)一周每天 10 倍的擴(kuò)容之后，騰訊會議的工程師面對“還需要繼續(xù)準(zhǔn)備十倍的容量”的命令時，他們覺得不可能還會需要那么大，但現(xiàn)實表明這個命令極具先見之明，后面的體量就是持續(xù)保持在這個量級上。
最開始的兩周時間，每天的擴(kuò)容都是在跟業(yè)務(wù)的增長賽跑，騰訊會議的工程師說：“每天十倍的增長，我們的團(tuán)隊扛完最初的一周，感覺就像過了整整一年。”
這樣的流量對釘釘和騰訊會議來說都是史無前例的。
阿里巴巴經(jīng)濟(jì)體已經(jīng)經(jīng)歷了 11 次“雙 11”。阿里每年都會根據(jù)歷史數(shù)據(jù)預(yù)估業(yè)務(wù)量級進(jìn)行容量規(guī)劃和全面的壓測，給各個業(yè)務(wù)留有足夠的機(jī)器冗余，來保證“雙 11”活動的穩(wěn)定運(yùn)行。但釘釘從來沒有經(jīng)歷過自己的“雙 11”，因為放到一個月之前，沒有人能預(yù)見到這些事情的發(fā)生。
騰訊云視頻業(yè)務(wù)總經(jīng)理李郁韜也提到：“春晚紅包、電商雙十一這些活動的突發(fā)流量跟這次相比都是短期突增的窄帶寬流量”，“而且騰訊歷史上沒有任何一個產(chǎn)品有過這么快的增長速度，我們以前也做 QQ，早期也支持過微信的發(fā)展，但都沒有在一兩周這么短的時間里達(dá)到今天這個用戶規(guī)模和帶寬規(guī)模。”
他感慨說：“這個疫情的爆發(fā)，讓我們把這件事情‘趕鴨子上了架’，短時間內(nèi)就把它頂了上去！”
罕見又超預(yù)期的爆發(fā)流量背后，是短時間的自動擴(kuò)容，以及十萬臺服務(wù)器和數(shù) T 帶寬資源的快速調(diào)配。如果是一個沒有技術(shù)深度和資源積累的小企業(yè)，基本上不可能在短時間內(nèi)解決這些問題，從而提供這么流暢的服務(wù)。在這場特殊的戰(zhàn)役里，巨頭和創(chuàng)業(yè)公司的差距進(jìn)一步被拉開了。
春節(jié)之后，有超過 1000 萬的組織和 2 億的上班族在線開工，有 5000 萬的學(xué)生通過釘釘在線課堂學(xué)習(xí)。2 月 3 號在線開工，到 2 月 10 號全國中小學(xué)在線開學(xué)，再到 2 月 17 號全面復(fù)工復(fù)學(xué)，每一次的流量都是前一周的多倍。
釘釘這種超預(yù)期的流量，不是 3 倍，不是 10 倍，而是 20 倍、上百倍的增長，部分應(yīng)用系統(tǒng)甚至達(dá)到百倍以上。由于在家辦公，是持續(xù)的召開電話會議、收發(fā)消息、視頻直播，因此每天八點(diǎn)半開始的峰值流量并沒有在幾分鐘內(nèi)結(jié)束，而是持續(xù)了三四個小時。
為了保障登錄、消息收發(fā)等核心系統(tǒng)的通暢，釘釘對部分上下游系統(tǒng)實施流控的手段，比如對已讀未讀的狀態(tài)更新做了延遲。釘釘對外表示他們的系統(tǒng)架構(gòu)經(jīng)受住了考驗，但依然需要大量的資源。從 1 月 29 日起，釘釘團(tuán)隊就已經(jīng)開始全力擴(kuò)容，截止 2 月 2 日，從最初的 2W vCPU 擴(kuò)容到 3W vCPU，僅做到了數(shù)倍擴(kuò)容，阿里技術(shù)對外表示：“還遠(yuǎn)未達(dá)到業(yè)務(wù)需求。”
2020 年快手接下了春晚紅包活動，騰訊云則是背后最大的一個支撐方。騰訊云技術(shù)團(tuán)隊本來以為經(jīng)歷完春晚紅包的大流量考驗后，大家可以在初一后開始休息并安心地過個年，結(jié)果沒想到的是，從初二初三開始，因為疫情的關(guān)系，騰訊會議這邊的流量猛地開始漲了起來。于是初一過后，大家又無休息地再次緊急投入了在線會議的流量戰(zhàn)中。
春晚紅包，雙十一活動，或者是英雄聯(lián)盟這種大型比賽的流量，跟這次疫情下的流量相比來說，都算是短期突增的窄帶寬流量或者是緩慢攀升的比賽型大帶寬流量。騰訊告訴我們，在線課堂開始于八點(diǎn)、八點(diǎn)半，企業(yè)的在線會議開始于九點(diǎn)、九點(diǎn)半。企業(yè)員工需要準(zhǔn)時上班，學(xué)生更是需要準(zhǔn)時上學(xué)，大家的網(wǎng)絡(luò)接入都特別“準(zhǔn)點(diǎn)”，這兩個場景下，就會產(chǎn)生非常典型、非常明顯的短瞬間峰值。而且除了短瞬間尖峰，疫情導(dǎo)致大家把線下的工作和生活的交流全部搬到線上，帶來的網(wǎng)絡(luò)的流量增長非常高、帶寬非常大。
最初企業(yè)還沒有開始復(fù)工的時候，騰訊以為可能也只是一個十倍左右的增長，頂多到百倍。誰知道一兩天后發(fā)現(xiàn)每天都是十倍十倍的增長，到后來體量大了可依舊是“翻倍”，也就是說越到后面流量越高得嚇人。
騰訊云運(yùn)維中心和客戶服務(wù)部門負(fù)責(zé)人徐勇州說：“在線會議的擴(kuò)容，真的就是不可預(yù)期的，我們只有更大膽的去堆資源。我們沒法精準(zhǔn)地知道明天的增長到底是五倍還是十倍，反正能做的就是持續(xù)的往上面去堆資源。我們一開始就把春節(jié)期間為春晚紅包準(zhǔn)備的資源池子全部加進(jìn)了在線會議的擴(kuò)容上。”
釘釘：資源不是魔法變出來的。
2 月 3 號開始的一周，是釘釘團(tuán)隊度過的最難的一周，因為開始對流量的預(yù)估是難以有依據(jù)的。但是這周的數(shù)據(jù)可以作為后面的工作參考，釘釘團(tuán)隊在這一周進(jìn)行了大量的系統(tǒng)優(yōu)化，這讓釘釘挺過了 10 號開學(xué)后帶來的更大的挑戰(zhàn)。2 月 12 日，釘釘宣布連續(xù)擴(kuò)容 10 萬臺服務(wù)器，這已經(jīng)是在協(xié)調(diào)使用阿里全公司的資源了。在疫情期間道路封閉、園區(qū)隔斷、人員異地的條件下，阿里云完成了十萬臺服務(wù)器的調(diào)撥、打包、運(yùn)輸、調(diào)度、上架、發(fā)布。
騰訊：帶寬擴(kuò)容需要三個月，但實際我們只花了三天。
騰訊歷史上沒有任何一個產(chǎn)品有這么快的、在一兩周的時間內(nèi)達(dá)到目前這個體量的增長速度。這背后最主要的就是資源側(cè)的保障。而且資源交付的壓力和節(jié)奏也是特別罕見的，是在騰訊云在過往的服務(wù)中，包括騰訊云對外部客戶的交付中從來沒有遇到過的情況。根據(jù)騰訊云內(nèi)部的總結(jié)來看，騰訊云只用了一半的時間去交付以前兩倍的資源。
除了服務(wù)器資源，騰訊中央數(shù)據(jù)中心的帶寬需求在很短時間內(nèi)就到了 T 級水位。騰訊云用三天的時間完成數(shù) T 帶寬擴(kuò)容的工作，通常情況下，一般企業(yè)進(jìn)行 T 級帶寬擴(kuò)容，可能需要三到四個月的時間，因為其中還涉及到運(yùn)營商的審批。徐勇州解釋說，騰訊之所以只用三天一方面是使用了內(nèi)部的儲備資源，另一方面是和運(yùn)營商有長期合作基礎(chǔ)。
資源問題解決之后，瓶頸已經(jīng)變成了擴(kuò)容的速度了。業(yè)務(wù)已經(jīng)在以令人無法想象的速度增長，那么擴(kuò)容就是在跟時間賽跑。一般來說互聯(lián)網(wǎng)比較常見的擴(kuò)容的力度是以月度，最多以周為單位進(jìn)行的。涉及人力和資源調(diào)配周期，以周為單位已經(jīng)是很快的速度了。而現(xiàn)在這個擴(kuò)容是以“天”為維度進(jìn)行的，前一天就需要擴(kuò)好第二天的容量。
十萬臺服務(wù)器，數(shù) T 帶寬，這些資源的成本折算下來就是上億的資金投入。巨頭憑借過去在技術(shù)和資源上的積累，加上充裕的人才儲備，以及成熟的組織結(jié)構(gòu)支撐，從而能快速的解決問題。較之初創(chuàng)型企業(yè)，巨頭再次展示出了自己能力上的優(yōu)勢。
社交產(chǎn)品的擴(kuò)容相對來說是最復(fù)雜的。
整個互聯(lián)網(wǎng)的應(yīng)用，主要分為三類。一類是內(nèi)容資訊類，層級構(gòu)成相對簡單，主要是一個網(wǎng)站，以及背后的靜態(tài)、動態(tài)數(shù)據(jù)庫。第二類是一些電商娛樂類，強(qiáng)調(diào)的是數(shù)據(jù)的一致性，但并發(fā)量相對來說不會太大。第三類，是社交類的產(chǎn)品，相對比較復(fù)雜。
社交類產(chǎn)品的復(fù)雜主要體現(xiàn)在：一是規(guī)模大。兩個人之間的通信是一對一的，但多人就是 N×N 的請求量，是幾何倍數(shù)的增長。二是系統(tǒng)內(nèi)部的層級多，每個對話還都涉及到接入點(diǎn)、消息中轉(zhuǎn)、狀態(tài)存儲、關(guān)系鏈數(shù)據(jù)等等，實時性要求也高。而且現(xiàn)在 IM 還需要滿足音視頻溝通的需求，文字溝通的需求，甚至還包含有電商入口，以及小程序和支付場景。在一個世界 N 個場景的社交體系里面，IM 鏈接了人和人，以及人和各種各樣應(yīng)用，這些注定了系統(tǒng)本身的復(fù)雜度。
因為在騰訊內(nèi)部業(yè)務(wù)場景眾多，有橫向?qū)Ρ龋钣繇w總結(jié)說：“如果用數(shù)字來對比這種復(fù)雜度的話，假設(shè)內(nèi)容資訊類的復(fù)雜度是一，電商娛樂類是十，那么社交類可能就是一百。”
自動化擴(kuò)容依靠于系統(tǒng)里的監(jiān)控產(chǎn)品對負(fù)載和關(guān)鍵技術(shù)指標(biāo)進(jìn)行監(jiān)控，取決于監(jiān)控是否能及時檢測到瓶頸點(diǎn)。當(dāng)監(jiān)控到這個復(fù)雜系統(tǒng)里的某指標(biāo)異常時，再選擇合適的邏輯自動增加容量。系統(tǒng)越復(fù)雜，需要監(jiān)控的就越多，擴(kuò)容的策略也更復(fù)雜。
這次流量爆發(fā)下，釘釘和騰訊都做到了快速自動化擴(kuò)容，且都創(chuàng)下了“快速擴(kuò)容新記錄”。這相當(dāng)于有了十萬臺機(jī)器，如何才能做到用最快的速度用到系統(tǒng)里去？騰訊認(rèn)為這主要依賴于三個方面：
第一個是標(biāo)準(zhǔn)化實施的程度要做得好。不管是用容器管理，還是用進(jìn)程、RPM 包，業(yè)務(wù)模塊自身都需要有好的標(biāo)準(zhǔn)化機(jī)制。舉例來說，如果分別要在 Windows 服務(wù)器和在 Linux 服務(wù)器上進(jìn)行擴(kuò)容，而兩個程序的版本又不一樣，同時還需要有各種各樣的 Check 檢查，這個工作就會變得非常復(fù)雜。要把復(fù)雜的事情變得簡單，標(biāo)準(zhǔn)化架構(gòu)建設(shè)就特別重要。
第二個是自動化的能力。在標(biāo)準(zhǔn)化的基礎(chǔ)下，怎么能夠安全高效地把資源部署到所有的節(jié)點(diǎn)上面去。服務(wù)的便捷程度，這其實是需要長期去積累的一個能力。
第三個是驗證機(jī)制。資源快速部署之后，是否能保證服務(wù)質(zhì)量，需要體系里有自我檢查的能力，依賴于有完善的壓測、驗證、監(jiān)控等等產(chǎn)品。
“服務(wù)器這種資源，在這段時間里，有就是有，沒有就是沒有，花錢也買不到，急也沒用。”
假期的一次次延長，導(dǎo)致中國企業(yè)市場哀鴻一片。可在慘淡的市場之下，線上辦公卻成為風(fēng)口，在線教育， 社交娛樂類如游戲、K 歌、直播，以及政務(wù)醫(yī)療也都迎來了發(fā)展機(jī)遇。線上流量猛增，很多企業(yè)不得不在全國各地緊急租用機(jī)房、購置或租用服務(wù)器進(jìn)行擴(kuò)容。服務(wù)器、帶寬這些剛需資源，如同是這場戰(zhàn)役中黃金硬通貨，價格上漲，但一機(jī)難求。對小企業(yè)來說，在工業(yè)線、整個物流全部停工的狀況下，就算是有錢也難買到，更別說今天買了明天就能用到系統(tǒng)擴(kuò)容上去。
“回過頭來看，如果今天沒有云的這個能力的話，可能今年這關(guān)我們就很難過去了。”
騰訊等頭部企業(yè)都依賴于他們的云計算自身的儲備。
中國云計算一直處于早期發(fā)展?fàn)顟B(tài)，直到最近兩年大環(huán)境開始持續(xù)加大對基礎(chǔ)設(shè)施的投入。十多年前，像 BAT，還有更早的網(wǎng)易、新浪、搜狐時代，大家都是采用自建 IDC 機(jī)房的方式。近兩年互聯(lián)網(wǎng)的獨(dú)角獸企業(yè)，開始在云上構(gòu)建自身應(yīng)用了，這是一個很重要的標(biāo)志性現(xiàn)象，也起到了很好的牽引作用。另外就是政府和大型國企，開始了數(shù)字化轉(zhuǎn)型，他們都感受到了創(chuàng)新應(yīng)用的推動力，對上云有了很大的態(tài)度上的轉(zhuǎn)變。這些又不斷促進(jìn)中國云計算廠商不計成本的投入。騰訊這次投入的 100 萬核的星星海服務(wù)器就是近兩年自研的成果。
隨著員工去辦公地點(diǎn)正常復(fù)工，這次戰(zhàn)役已告一段落。
徐勇州說：“得益于騰訊在云計算里的投入，今天在面對這個不能預(yù)料的突發(fā)需求時，我們才能夠跟得上。但如果再大十倍，可能就真頂不住了，這種情況會要求我們進(jìn)一步加大投入、提升云服務(wù)的能力，所以這次戰(zhàn)役也確實加速了整個云計算的技術(shù)發(fā)展。”
