看,那群春晚發(fā)出15億紅包與好物的人!

“5、4、3、2、1”伴隨著央視春晚的經(jīng)典倒數(shù)讀秒,除夕鐘聲如約而至,禮花滿天新年新氣象。對比此時滿眼的熱鬧祥和,亦莊京東總部大廈以及各地數(shù)據(jù)中心中,數(shù)千名技術(shù)專家正寸步不離緊盯數(shù)據(jù)大屏,等待最后一波紅包互動的流量沖擊。00:23,紅包雨夾雜在新年的歡聲笑語中洋洋灑灑,作戰(zhàn)室內(nèi)一片歡呼沸騰,“成了!扛住啦!”為這場完美的“紅包盛宴”畫上圓滿句號。

  270分鐘春晚全球直播,7輪口播引領(lǐng)不間斷流量洪峰,這次春晚紅包互動絕對震撼:全球華人參與京東APP紅包累計互動量達691億次;秒級調(diào)度近300萬個容器、超1000萬核算力資源,以超高彈性成功登頂云計算領(lǐng)域的“珠穆朗瑪峰”。京東智能客服言犀累計咨詢服務(wù)量達5.5億次。

  時間回溯、加速流轉(zhuǎn),定格在1月5日,那是中央廣播電視總臺宣布京東成為2022年春晚獨家互動合作伙伴的日子,京東為全國人民在虎年春節(jié)送出的一份份誠摯佳禮。但對于京東廣大的技術(shù)人員,1月5日卻是春晚紅包籌備戰(zhàn)正式拉開了序幕。

  辭舊迎新的除夕不眠之夜,電視機前紅包飛揚,而電視之外的京東則是燈火通明,萬人協(xié)同好禮相送,想問那些徹夜不眠發(fā)紅包的人,有何感想?

  掌控流量“密碼”!的@系統(tǒng)運維工程師陳榮

  作為春晚互動籌備組內(nèi)肩負各業(yè)務(wù)域名解析調(diào)度以及流量分配工作的陳榮,同很多同事一樣,是第一次參加春晚這么大而重要的項目。為了能夠確保每位用戶都能順利接入京東APP且數(shù)據(jù)流通有序,大家的備戰(zhàn)過程都是壓力山大。“以前確實沒有見識過這么大的訪問請求量,數(shù)量級一上來,如果資源分配不合理,在流量洪峰時絕對是擁擠不堪的。”

  俗話說扛住洪峰就要加設(shè)備擴資源,但盲目的“頭疼醫(yī)頭、腳疼醫(yī)腳”顯然達不到最佳的效果。“我們需要根據(jù)每個業(yè)務(wù)模塊的情況進行合理的流量調(diào)度,并根據(jù)動態(tài)變化來不斷調(diào)整……”

  陳榮這樣類比:“大家可以想象高速公路,日常情況下車流路況都算良好,但在春運這樣級別的海量車況下,那一定會出現(xiàn)大塞車,而我們所做的就是預(yù)判路況和車況,指引車流通過不同的道路出城,避免擁堵。”所以為了更好做到資源分配以及敏捷響應(yīng),備戰(zhàn)團隊根據(jù)目前所掌握的數(shù)據(jù),分析預(yù)判了大流量可能出現(xiàn)的環(huán)節(jié),并同時做好對應(yīng)的資源部署與調(diào)整;此外還率先預(yù)判了流量流轉(zhuǎn)的路徑,提前做好把控和引導(dǎo);繪制了“流量地圖”來提前預(yù)判地域流量差異,確保“有限的資源用在刀刃上”,將“人算”做到最佳,才能更好扛住“天算”的考驗。

  “以前的大年三十,我同家人一起看春晚;今年的大年三十,我要“站崗”為全國人民春晚紅包互動做保障。對于小家庭有些小遺憾,但特別有成就感,一個字:爽!”陳榮發(fā)自內(nèi)心的說。“春晚這個項目讓我們有作戰(zhàn)的感覺,真的是成百上千的同事們一起竭盡全力做好這件事兒,那感覺很震撼。你會看到每一個人都在不斷查找問題并解決問題,履行自己的責(zé)任,特別有凝聚力!”

  
500)this.width=500" align="center" hspace=10 vspace=10 alt="看,那群春晚發(fā)出15億紅包與好物的人! ">


  只要“劇本”不要“殺”的@產(chǎn)品經(jīng)理鄭犇犇

  產(chǎn)品經(jīng)理鄭犇犇,在這次項目中擔(dān)負了一個十分重要的工作,用他的話說“創(chuàng)新性十足,絕對載入史冊”的那種,即籌備京東APP的鏈路備戰(zhàn)方案。簡單來說就是需要對整條鏈路進行詳盡的梳理:哪個環(huán)節(jié)遇到怎樣的異常該如何處理、哪些地方需要改動到什么程度才能應(yīng)對挑戰(zhàn)……總而言之就是形成一套完備并準確的“劇本”,在各種紛繁復(fù)雜的情況下讓核心鏈路的資源得到優(yōu)先級的保障。

  要說“劇本”這個梗,可有意思!這算是京東這次整體備戰(zhàn)得出的創(chuàng)新殺手锏,是一種異常演練的預(yù)案。鄭犇犇這樣介紹春晚項目的備戰(zhàn)“劇本”:“你玩過劇本殺么?劇本殺的精髓就是不放過任何一種可能性,經(jīng)過數(shù)輪搜證、層層抽絲剝繭,最終還原真相。這次春晚我負責(zé)的“劇本”也是要充分考慮各種不確定因素、甚至各種極端情況,從而保障春晚項目的順利進行,因為搞不清楚什么情況下,可能就有個突發(fā)情況影響了了用戶體驗。”

  “準備劇本的過程挺難的!因為是從零開始,很多環(huán)節(jié)在之前的大規(guī)模場景中并不突出,但在這個項目里卻變成了‘C位出道’,所以整體的方案前后做了四版,最忙的時候連續(xù)幾天工作到夜里兩三點。雖然最終很多預(yù)先準備的預(yù)案操作都沒有用上,但確保萬無一失是必須的、很重要的!”鄭犇犇自豪地表示:“往年的春晚我只是一個觀眾,而今年我成為了一個“參與者”,很有使命感。”

  
500)this.width=500" align="center" hspace=10 vspace=10 alt="看,那群春晚發(fā)出15億紅包與好物的人! ">


  用春晚紅包與父母“異地交互同過年”@系統(tǒng)運維工程師胡柳

  “家中父母年紀大了,提出今年除夕不回家過年的時候,他們還是那句話:沒關(guān)系,家里都挺好,不用惦記。但我知道他們心里十分牽掛我,以往每每在電視上看到關(guān)于京東的消息,他們都會跟我談起。”胡柳談起今年不能回家過年的時候眼眶還是紅了。“但參加這么有紀念意義的活動,想到背后的每一次點擊、每一次流暢的用戶體驗,也有自己貢獻的一份力量,就覺得又激動,又緊張,又自豪。我想今年春晚爸媽坐在電視機前一定也能感受到我和他們同過年!”

  胡柳是“巾幗不讓須眉”的女工程師,在這次春晚互動備戰(zhàn)團隊中格外亮眼,當(dāng)然這也與她肩負的工作有關(guān):負責(zé)運維相關(guān)的保障工作,可以等同于極限挑戰(zhàn)。“接到保障任務(wù)的第一天,第一輪全鏈路壓測就已經(jīng)開始了。為了更好支持項目,我們重大的壓測就做了七輪之多。每一次,通過京東云全鏈路監(jiān)控系統(tǒng)去排查瓶頸點,與業(yè)務(wù)協(xié)同隨時發(fā)現(xiàn)馬上優(yōu)化解決;尤其是系統(tǒng)調(diào)用資源的消耗情況,包括應(yīng)用負載、數(shù)據(jù)訪問、網(wǎng)絡(luò)消耗等,都要針對性做到極致優(yōu)化,試圖挑戰(zhàn)整個系統(tǒng)能達到的極限。”胡柳總結(jié)道。

  春晚項目與以往大促的流量模型完全不同,既要參考以往的備戰(zhàn)經(jīng)驗,又要摒棄之前的思維定式,不到一個月的備戰(zhàn)時間內(nèi),業(yè)務(wù)需求也在不斷變化帶來的挑戰(zhàn)很大,可以說這次是從過去粗放拼湊資源滿足復(fù)雜需求,過渡到了提升系統(tǒng)架構(gòu)的高效敏捷能力來應(yīng)對挑戰(zhàn),尤其是鍛造大規(guī)模場景極端并發(fā)下的能力。

  
500)this.width=500" align="center" hspace=10 vspace=10 alt="看,那群春晚發(fā)出15億紅包與好物的人! ">


  視春晚項目為生日禮物的@內(nèi)容與創(chuàng)新研發(fā)部華曉春

  “今年是虎年,也是我的本命年,這樣一個特殊的時間點能和團隊奮戰(zhàn)在春晚紅包互動保障的一線,對我來說是有非常意義的生日禮物。”華曉春團隊可以說是第一時間觸及到用戶體驗的模塊——人證核驗和證件OCR(文字識別)。“春晚紅包互動過程中肯定會出現(xiàn)很多參與其中的新用戶,實名認證、綁定銀行卡等人證核驗以及證件OCR(文字識別)這兩塊工作就特別關(guān)鍵,安全又快捷是大家都希望的。”華曉春說。但在流量洪峰的波及下,這塊工作的備戰(zhàn)也是意外頻發(fā)。“有一次,擴容剛剛完成,突然又有新的流量加入進來;再次擴容肯定來不及,怎么辦?抓緊時間溝通、協(xié)調(diào)、解決問題……最后經(jīng)過幾輪深入的討論,可行的降級方案產(chǎn)生了。”

  華曉春解釋春晚項目的難點:春晚紅包互動對京東云來說是第一次,它的業(yè)務(wù)邏輯是全新的,和京東618、京東11.11不同,注定有新的系統(tǒng)要開發(fā)上線,并支持高并發(fā)量。這些新的系統(tǒng)在高并發(fā)情況下,資源使用情況并沒有歷史數(shù)據(jù)參考,資源很難預(yù)測,資源調(diào)度相當(dāng)于摸著石頭過河。據(jù)悉,京東的備戰(zhàn)團隊早早就預(yù)想并制定了分級標準來完成資源的動態(tài)調(diào)整與更新,這樣一來就可確保在互動過程中高優(yōu)先級的應(yīng)用系統(tǒng)盡量多得到資源使用機會,做到“更少資源辦大事兒”。

  “其實技術(shù)人都想通過經(jīng)歷大項目的挑戰(zhàn)來磨煉自己,我也是!春晚這個機會真的是期待已久,如今到了,特別興奮。想著第一次獨立支持春晚紅包互動這么個大項目,一定要打個漂亮仗!”華曉春分享了他和兒子的關(guān)于春晚的小故事“我兒子剛上小學(xué),我也會跟他溝通,我說今年爸爸不能在家陪你一塊兒過年,因為爸爸有一個非常難得的機會去為春晚項目做一個重點支持。他可能不一定明白我說的具體工作,但他知道這件事很重要。有一天我們壓測到很晚,早上才回到家,他那天正好起得比較早,他看到我,給了我一個擁抱。”

  
500)this.width=500" align="center" hspace=10 vspace=10 alt="看,那群春晚發(fā)出15億紅包與好物的人! ">


  不管是細微之處見工夫的華曉春,還是與父母異地過春節(jié)的女工程師胡柳,都是京東技術(shù)人員的一個代表。京東第一次春晚亮相,有超3000名技術(shù)人員參與了該項目的技術(shù)攻關(guān)與保障工作,僅僅除夕當(dāng)天就有將近2000人參與一線值守的技術(shù)保障,共計超萬名技術(shù)人員共同協(xié)同作戰(zhàn)。2022年春晚互動活動,不僅是近年來最大觀眾參與量的春晚項目,更是最具挑戰(zhàn)性的技術(shù)領(lǐng)域“珠穆朗瑪峰”。在史上最短的19天備戰(zhàn)時間里,京東技術(shù)人員終于打贏了有史以來最具挑戰(zhàn)、也是最漂亮的一仗!
關(guān)鍵詞: 京東 資源 383 云計算 春運