看，那群春晚發(fā)出15億紅包與好物的人！
來源：中金在線
?
2022-02-04 13:33:02
“5、4、3、2、1”伴隨著央視春晚的經(jīng)典倒數(shù)讀秒，除夕鐘聲如約而至，禮花滿天新年新氣象。對比此時滿眼的熱鬧祥和，亦莊京東總部大廈以及各地數(shù)據(jù)中心中，數(shù)千名技術(shù)專家正寸步不離緊盯數(shù)據(jù)大屏，等待最后一波紅包互動的流量沖擊。00:23，紅包雨夾雜在新年的歡聲笑語中洋洋灑灑，作戰(zhàn)室內(nèi)一片歡呼沸騰，“成了！扛住啦！”為這場完美的“紅包盛宴”畫上圓滿句號。
270分鐘春晚全球直播，7輪口播引領(lǐng)不間斷流量洪峰，這次春晚紅包互動絕對震撼：全球華人參與京東APP紅包累計互動量達691億次；秒級調(diào)度近300萬個容器、超1000萬核算力資源，以超高彈性成功登頂云計算領(lǐng)域的“珠穆朗瑪峰”。京東智能客服言犀累計咨詢服務(wù)量達5.5億次。
時間回溯、加速流轉(zhuǎn)，定格在1月5日，那是中央廣播電視總臺宣布京東成為2022年春晚獨家互動合作伙伴的日子，京東為全國人民在虎年春節(jié)送出的一份份誠摯佳禮。但對于京東廣大的技術(shù)人員，1月5日卻是春晚紅包籌備戰(zhàn)正式拉開了序幕。
辭舊迎新的除夕不眠之夜，電視機前紅包飛揚，而電視之外的京東則是燈火通明，萬人協(xié)同好禮相送，想問那些徹夜不眠發(fā)紅包的人，有何感想？
掌控流量“密碼”！的@系統(tǒng)運維工程師陳榮
作為春晚互動籌備組內(nèi)肩負各業(yè)務(wù)域名解析調(diào)度以及流量分配工作的陳榮，同很多同事一樣，是第一次參加春晚這么大而重要的項目。為了能夠確保每位用戶都能順利接入京東APP且數(shù)據(jù)流通有序，大家的備戰(zhàn)過程都是壓力山大。“以前確實沒有見識過這么大的訪問請求量，數(shù)量級一上來，如果資源分配不合理，在流量洪峰時絕對是擁擠不堪的。”
俗話說扛住洪峰就要加設(shè)備擴資源，但盲目的“頭疼醫(yī)頭、腳疼醫(yī)腳”顯然達不到最佳的效果。“我們需要根據(jù)每個業(yè)務(wù)模塊的情況進行合理的流量調(diào)度，并根據(jù)動態(tài)變化來不斷調(diào)整……”
陳榮這樣類比：“大家可以想象高速公路，日常情況下車流路況都算良好，但在春運這樣級別的海量車況下，那一定會出現(xiàn)大塞車，而我們所做的就是預(yù)判路況和車況，指引車流通過不同的道路出城，避免擁堵。”所以為了更好做到資源分配以及敏捷響應(yīng)，備戰(zhàn)團隊根據(jù)目前所掌握的數(shù)據(jù)，分析預(yù)判了大流量可能出現(xiàn)的環(huán)節(jié)，并同時做好對應(yīng)的資源部署與調(diào)整；此外還率先預(yù)判了流量流轉(zhuǎn)的路徑，提前做好把控和引導(dǎo)；繪制了“流量地圖”來提前預(yù)判地域流量差異，確保“有限的資源用在刀刃上”，將“人算”做到最佳，才能更好扛住“天算”的考驗。
“以前的大年三十，我同家人一起看春晚；今年的大年三十，我要“站崗”為全國人民春晚紅包互動做保障。對于小家庭有些小遺憾，但特別有成就感，一個字：爽！”陳榮發(fā)自內(nèi)心的說。“春晚這個項目讓我們有作戰(zhàn)的感覺，真的是成百上千的同事們一起竭盡全力做好這件事兒，那感覺很震撼。你會看到每一個人都在不斷查找問題并解決問題，履行自己的責(zé)任，特別有凝聚力！”
500)this.width=500" align="center" hspace=10 vspace=10 alt="看，那群春晚發(fā)出15億紅包與好物的人！ ">
只要“劇本”不要“殺”的@產(chǎn)品經(jīng)理鄭犇犇
產(chǎn)品經(jīng)理鄭犇犇，在這次項目中擔(dān)負了一個十分重要的工作，用他的話說“創(chuàng)新性十足，絕對載入史冊”的那種，即籌備京東APP的鏈路備戰(zhàn)方案。簡單來說就是需要對整條鏈路進行詳盡的梳理：哪個環(huán)節(jié)遇到怎樣的異常該如何處理、哪些地方需要改動到什么程度才能應(yīng)對挑戰(zhàn)……總而言之就是形成一套完備并準確的“劇本”，在各種紛繁復(fù)雜的情況下讓核心鏈路的資源得到優(yōu)先級的保障。
要說“劇本”這個梗，可有意思！這算是京東這次整體備戰(zhàn)得出的創(chuàng)新殺手锏，是一種異常演練的預(yù)案。鄭犇犇這樣介紹春晚項目的備戰(zhàn)“劇本”：“你玩過劇本殺么？劇本殺的精髓就是不放過任何一種可能性，經(jīng)過數(shù)輪搜證、層層抽絲剝繭，最終還原真相。這次春晚我負責(zé)的“劇本”也是要充分考慮各種不確定因素、甚至各種極端情況，從而保障春晚項目的順利進行，因為搞不清楚什么情況下，可能就有個突發(fā)情況影響了了用戶體驗。”
“準備劇本的過程挺難的！因為是從零開始，很多環(huán)節(jié)在之前的大規(guī)模場景中并不突出，但在這個項目里卻變成了‘C位出道’，所以整體的方案前后做了四版，最忙的時候連續(xù)幾天工作到夜里兩三點。雖然最終很多預(yù)先準備的預(yù)案操作都沒有用上，但確保萬無一失是必須的、很重要的！”鄭犇犇自豪地表示：“往年的春晚我只是一個觀眾，而今年我成為了一個“參與者”，很有使命感。”
500)this.width=500" align="center" hspace=10 vspace=10 alt="看，那群春晚發(fā)出15億紅包與好物的人！ ">
用春晚紅包與父母“異地交互同過年”@系統(tǒng)運維工程師胡柳
“家中父母年紀大了，提出今年除夕不回家過年的時候，他們還是那句話：沒關(guān)系，家里都挺好，不用惦記。但我知道他們心里十分牽掛我，以往每每在電視上看到關(guān)于京東的消息，他們都會跟我談起。”胡柳談起今年不能回家過年的時候眼眶還是紅了。“但參加這么有紀念意義的活動，想到背后的每一次點擊、每一次流暢的用戶體驗，也有自己貢獻的一份力量，就覺得又激動，又緊張，又自豪。我想今年春晚爸媽坐在電視機前一定也能感受到我和他們同過年！”
胡柳是“巾幗不讓須眉”的女工程師，在這次春晚互動備戰(zhàn)團隊中格外亮眼，當(dāng)然這也與她肩負的工作有關(guān)：負責(zé)運維相關(guān)的保障工作，可以等同于極限挑戰(zhàn)。“接到保障任務(wù)的第一天，第一輪全鏈路壓測就已經(jīng)開始了。為了更好支持項目，我們重大的壓測就做了七輪之多。每一次，通過京東云全鏈路監(jiān)控系統(tǒng)去排查瓶頸點，與業(yè)務(wù)協(xié)同隨時發(fā)現(xiàn)馬上優(yōu)化解決；尤其是系統(tǒng)調(diào)用資源的消耗情況，包括應(yīng)用負載、數(shù)據(jù)訪問、網(wǎng)絡(luò)消耗等，都要針對性做到極致優(yōu)化，試圖挑戰(zhàn)整個系統(tǒng)能達到的極限。”胡柳總結(jié)道。
春晚項目與以往大促的流量模型完全不同，既要參考以往的備戰(zhàn)經(jīng)驗，又要摒棄之前的思維定式，不到一個月的備戰(zhàn)時間內(nèi)，業(yè)務(wù)需求也在不斷變化帶來的挑戰(zhàn)很大，可以說這次是從過去粗放拼湊資源滿足復(fù)雜需求，過渡到了提升系統(tǒng)架構(gòu)的高效敏捷能力來應(yīng)對挑戰(zhàn)，尤其是鍛造大規(guī)模場景極端并發(fā)下的能力。
500)this.width=500" align="center" hspace=10 vspace=10 alt="看，那群春晚發(fā)出15億紅包與好物的人！ ">
視春晚項目為生日禮物的@內(nèi)容與創(chuàng)新研發(fā)部華曉春
“今年是虎年，也是我的本命年，這樣一個特殊的時間點能和團隊奮戰(zhàn)在春晚紅包互動保障的一線，對我來說是有非常意義的生日禮物。”華曉春團隊可以說是第一時間觸及到用戶體驗的模塊——人證核驗和證件OCR(文字識別)。“春晚紅包互動過程中肯定會出現(xiàn)很多參與其中的新用戶，實名認證、綁定銀行卡等人證核驗以及證件OCR(文字識別)這兩塊工作就特別關(guān)鍵，安全又快捷是大家都希望的。”華曉春說。但在流量洪峰的波及下，這塊工作的備戰(zhàn)也是意外頻發(fā)。“有一次，擴容剛剛完成，突然又有新的流量加入進來；再次擴容肯定來不及，怎么辦？抓緊時間溝通、協(xié)調(diào)、解決問題……最后經(jīng)過幾輪深入的討論，可行的降級方案產(chǎn)生了。”
華曉春解釋春晚項目的難點：春晚紅包互動對京東云來說是第一次，它的業(yè)務(wù)邏輯是全新的，和京東618、京東11.11不同，注定有新的系統(tǒng)要開發(fā)上線，并支持高并發(fā)量。這些新的系統(tǒng)在高并發(fā)情況下，資源使用情況并沒有歷史數(shù)據(jù)參考，資源很難預(yù)測，資源調(diào)度相當(dāng)于摸著石頭過河。據(jù)悉，京東的備戰(zhàn)團隊早早就預(yù)想并制定了分級標準來完成資源的動態(tài)調(diào)整與更新，這樣一來就可確保在互動過程中高優(yōu)先級的應(yīng)用系統(tǒng)盡量多得到資源使用機會，做到“更少資源辦大事兒”。
“其實技術(shù)人都想通過經(jīng)歷大項目的挑戰(zhàn)來磨煉自己，我也是！春晚這個機會真的是期待已久，如今到了，特別興奮。想著第一次獨立支持春晚紅包互動這么個大項目，一定要打個漂亮仗！”華曉春分享了他和兒子的關(guān)于春晚的小故事“我兒子剛上小學(xué)，我也會跟他溝通，我說今年爸爸不能在家陪你一塊兒過年，因為爸爸有一個非常難得的機會去為春晚項目做一個重點支持。他可能不一定明白我說的具體工作，但他知道這件事很重要。有一天我們壓測到很晚，早上才回到家，他那天正好起得比較早，他看到我，給了我一個擁抱。”
500)this.width=500" align="center" hspace=10 vspace=10 alt="看，那群春晚發(fā)出15億紅包與好物的人！ ">
不管是細微之處見工夫的華曉春，還是與父母異地過春節(jié)的女工程師胡柳，都是京東技術(shù)人員的一個代表。京東第一次春晚亮相，有超3000名技術(shù)人員參與了該項目的技術(shù)攻關(guān)與保障工作，僅僅除夕當(dāng)天就有將近2000人參與一線值守的技術(shù)保障，共計超萬名技術(shù)人員共同協(xié)同作戰(zhàn)。2022年春晚互動活動，不僅是近年來最大觀眾參與量的春晚項目，更是最具挑戰(zhàn)性的技術(shù)領(lǐng)域“珠穆朗瑪峰”。在史上最短的19天備戰(zhàn)時間里，京東技術(shù)人員終于打贏了有史以來最具挑戰(zhàn)、也是最漂亮的一仗！
270分鐘春晚全球直播，7輪口播引領(lǐng)不間斷流量洪峰，這次春晚紅包互動絕對震撼：全球華人參與京東APP紅包累計互動量達691億次；秒級調(diào)度近300萬個容器、超1000萬核算力資源，以超高彈性成功登頂云計算領(lǐng)域的“珠穆朗瑪峰”。京東智能客服言犀累計咨詢服務(wù)量達5.5億次。
時間回溯、加速流轉(zhuǎn)，定格在1月5日，那是中央廣播電視總臺宣布京東成為2022年春晚獨家互動合作伙伴的日子，京東為全國人民在虎年春節(jié)送出的一份份誠摯佳禮。但對于京東廣大的技術(shù)人員，1月5日卻是春晚紅包籌備戰(zhàn)正式拉開了序幕。
辭舊迎新的除夕不眠之夜，電視機前紅包飛揚，而電視之外的京東則是燈火通明，萬人協(xié)同好禮相送，想問那些徹夜不眠發(fā)紅包的人，有何感想？
掌控流量“密碼”！的@系統(tǒng)運維工程師陳榮
作為春晚互動籌備組內(nèi)肩負各業(yè)務(wù)域名解析調(diào)度以及流量分配工作的陳榮，同很多同事一樣，是第一次參加春晚這么大而重要的項目。為了能夠確保每位用戶都能順利接入京東APP且數(shù)據(jù)流通有序，大家的備戰(zhàn)過程都是壓力山大。“以前確實沒有見識過這么大的訪問請求量，數(shù)量級一上來，如果資源分配不合理，在流量洪峰時絕對是擁擠不堪的。”
俗話說扛住洪峰就要加設(shè)備擴資源，但盲目的“頭疼醫(yī)頭、腳疼醫(yī)腳”顯然達不到最佳的效果。“我們需要根據(jù)每個業(yè)務(wù)模塊的情況進行合理的流量調(diào)度，并根據(jù)動態(tài)變化來不斷調(diào)整……”
陳榮這樣類比：“大家可以想象高速公路，日常情況下車流路況都算良好，但在春運這樣級別的海量車況下，那一定會出現(xiàn)大塞車，而我們所做的就是預(yù)判路況和車況，指引車流通過不同的道路出城，避免擁堵。”所以為了更好做到資源分配以及敏捷響應(yīng)，備戰(zhàn)團隊根據(jù)目前所掌握的數(shù)據(jù)，分析預(yù)判了大流量可能出現(xiàn)的環(huán)節(jié)，并同時做好對應(yīng)的資源部署與調(diào)整；此外還率先預(yù)判了流量流轉(zhuǎn)的路徑，提前做好把控和引導(dǎo)；繪制了“流量地圖”來提前預(yù)判地域流量差異，確保“有限的資源用在刀刃上”，將“人算”做到最佳，才能更好扛住“天算”的考驗。
“以前的大年三十，我同家人一起看春晚；今年的大年三十，我要“站崗”為全國人民春晚紅包互動做保障。對于小家庭有些小遺憾，但特別有成就感，一個字：爽！”陳榮發(fā)自內(nèi)心的說。“春晚這個項目讓我們有作戰(zhàn)的感覺，真的是成百上千的同事們一起竭盡全力做好這件事兒，那感覺很震撼。你會看到每一個人都在不斷查找問題并解決問題，履行自己的責(zé)任，特別有凝聚力！”
只要“劇本”不要“殺”的@產(chǎn)品經(jīng)理鄭犇犇
產(chǎn)品經(jīng)理鄭犇犇，在這次項目中擔(dān)負了一個十分重要的工作，用他的話說“創(chuàng)新性十足，絕對載入史冊”的那種，即籌備京東APP的鏈路備戰(zhàn)方案。簡單來說就是需要對整條鏈路進行詳盡的梳理：哪個環(huán)節(jié)遇到怎樣的異常該如何處理、哪些地方需要改動到什么程度才能應(yīng)對挑戰(zhàn)……總而言之就是形成一套完備并準確的“劇本”，在各種紛繁復(fù)雜的情況下讓核心鏈路的資源得到優(yōu)先級的保障。
要說“劇本”這個梗，可有意思！這算是京東這次整體備戰(zhàn)得出的創(chuàng)新殺手锏，是一種異常演練的預(yù)案。鄭犇犇這樣介紹春晚項目的備戰(zhàn)“劇本”：“你玩過劇本殺么？劇本殺的精髓就是不放過任何一種可能性，經(jīng)過數(shù)輪搜證、層層抽絲剝繭，最終還原真相。這次春晚我負責(zé)的“劇本”也是要充分考慮各種不確定因素、甚至各種極端情況，從而保障春晚項目的順利進行，因為搞不清楚什么情況下，可能就有個突發(fā)情況影響了了用戶體驗。”
“準備劇本的過程挺難的！因為是從零開始，很多環(huán)節(jié)在之前的大規(guī)模場景中并不突出，但在這個項目里卻變成了‘C位出道’，所以整體的方案前后做了四版，最忙的時候連續(xù)幾天工作到夜里兩三點。雖然最終很多預(yù)先準備的預(yù)案操作都沒有用上，但確保萬無一失是必須的、很重要的！”鄭犇犇自豪地表示：“往年的春晚我只是一個觀眾，而今年我成為了一個“參與者”，很有使命感。”
用春晚紅包與父母“異地交互同過年”@系統(tǒng)運維工程師胡柳
“家中父母年紀大了，提出今年除夕不回家過年的時候，他們還是那句話：沒關(guān)系，家里都挺好，不用惦記。但我知道他們心里十分牽掛我，以往每每在電視上看到關(guān)于京東的消息，他們都會跟我談起。”胡柳談起今年不能回家過年的時候眼眶還是紅了。“但參加這么有紀念意義的活動，想到背后的每一次點擊、每一次流暢的用戶體驗，也有自己貢獻的一份力量，就覺得又激動，又緊張，又自豪。我想今年春晚爸媽坐在電視機前一定也能感受到我和他們同過年！”
胡柳是“巾幗不讓須眉”的女工程師，在這次春晚互動備戰(zhàn)團隊中格外亮眼，當(dāng)然這也與她肩負的工作有關(guān)：負責(zé)運維相關(guān)的保障工作，可以等同于極限挑戰(zhàn)。“接到保障任務(wù)的第一天，第一輪全鏈路壓測就已經(jīng)開始了。為了更好支持項目，我們重大的壓測就做了七輪之多。每一次，通過京東云全鏈路監(jiān)控系統(tǒng)去排查瓶頸點，與業(yè)務(wù)協(xié)同隨時發(fā)現(xiàn)馬上優(yōu)化解決；尤其是系統(tǒng)調(diào)用資源的消耗情況，包括應(yīng)用負載、數(shù)據(jù)訪問、網(wǎng)絡(luò)消耗等，都要針對性做到極致優(yōu)化，試圖挑戰(zhàn)整個系統(tǒng)能達到的極限。”胡柳總結(jié)道。
春晚項目與以往大促的流量模型完全不同，既要參考以往的備戰(zhàn)經(jīng)驗，又要摒棄之前的思維定式，不到一個月的備戰(zhàn)時間內(nèi)，業(yè)務(wù)需求也在不斷變化帶來的挑戰(zhàn)很大，可以說這次是從過去粗放拼湊資源滿足復(fù)雜需求，過渡到了提升系統(tǒng)架構(gòu)的高效敏捷能力來應(yīng)對挑戰(zhàn)，尤其是鍛造大規(guī)模場景極端并發(fā)下的能力。
視春晚項目為生日禮物的@內(nèi)容與創(chuàng)新研發(fā)部華曉春
“今年是虎年，也是我的本命年，這樣一個特殊的時間點能和團隊奮戰(zhàn)在春晚紅包互動保障的一線，對我來說是有非常意義的生日禮物。”華曉春團隊可以說是第一時間觸及到用戶體驗的模塊——人證核驗和證件OCR(文字識別)。“春晚紅包互動過程中肯定會出現(xiàn)很多參與其中的新用戶，實名認證、綁定銀行卡等人證核驗以及證件OCR(文字識別)這兩塊工作就特別關(guān)鍵，安全又快捷是大家都希望的。”華曉春說。但在流量洪峰的波及下，這塊工作的備戰(zhàn)也是意外頻發(fā)。“有一次，擴容剛剛完成，突然又有新的流量加入進來；再次擴容肯定來不及，怎么辦？抓緊時間溝通、協(xié)調(diào)、解決問題……最后經(jīng)過幾輪深入的討論，可行的降級方案產(chǎn)生了。”
華曉春解釋春晚項目的難點：春晚紅包互動對京東云來說是第一次，它的業(yè)務(wù)邏輯是全新的，和京東618、京東11.11不同，注定有新的系統(tǒng)要開發(fā)上線，并支持高并發(fā)量。這些新的系統(tǒng)在高并發(fā)情況下，資源使用情況并沒有歷史數(shù)據(jù)參考，資源很難預(yù)測，資源調(diào)度相當(dāng)于摸著石頭過河。據(jù)悉，京東的備戰(zhàn)團隊早早就預(yù)想并制定了分級標準來完成資源的動態(tài)調(diào)整與更新，這樣一來就可確保在互動過程中高優(yōu)先級的應(yīng)用系統(tǒng)盡量多得到資源使用機會，做到“更少資源辦大事兒”。
“其實技術(shù)人都想通過經(jīng)歷大項目的挑戰(zhàn)來磨煉自己，我也是！春晚這個機會真的是期待已久，如今到了，特別興奮。想著第一次獨立支持春晚紅包互動這么個大項目，一定要打個漂亮仗！”華曉春分享了他和兒子的關(guān)于春晚的小故事“我兒子剛上小學(xué)，我也會跟他溝通，我說今年爸爸不能在家陪你一塊兒過年，因為爸爸有一個非常難得的機會去為春晚項目做一個重點支持。他可能不一定明白我說的具體工作，但他知道這件事很重要。有一天我們壓測到很晚，早上才回到家，他那天正好起得比較早，他看到我，給了我一個擁抱。”
不管是細微之處見工夫的華曉春，還是與父母異地過春節(jié)的女工程師胡柳，都是京東技術(shù)人員的一個代表。京東第一次春晚亮相，有超3000名技術(shù)人員參與了該項目的技術(shù)攻關(guān)與保障工作，僅僅除夕當(dāng)天就有將近2000人參與一線值守的技術(shù)保障，共計超萬名技術(shù)人員共同協(xié)同作戰(zhàn)。2022年春晚互動活動，不僅是近年來最大觀眾參與量的春晚項目，更是最具挑戰(zhàn)性的技術(shù)領(lǐng)域“珠穆朗瑪峰”。在史上最短的19天備戰(zhàn)時間里，京東技術(shù)人員終于打贏了有史以來最具挑戰(zhàn)、也是最漂亮的一仗！
