淘寶技術(shù)這十年
2017-02-24
受訪(fǎng)者介紹：子柳，2004年加入淘寶網(wǎng)，歷任開(kāi)發(fā)工程師、項目經(jīng)理、產(chǎn)品經(jīng)理、測試經(jīng)理。2014年5月，子柳離開(kāi)阿里，成為一名天使投資人。
2012年11月11日，191億元“奇跡”誕生前，正當許多買(mǎi)家正在享受購物狂歡時(shí)，突然一條這樣的提示信息出現在眼前：我們的系統檢測到您所在的網(wǎng)絡(luò )對淘寶網(wǎng)的訪(fǎng)問(wèn)請求過(guò)于頻繁，很抱歉，現在暫時(shí)無(wú)法處理您的請求，請您過(guò)一段時(shí)間后再來(lái)訪(fǎng)問(wèn)。“系統崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實(shí)是故意的。因為我們要調控全局，所以進(jìn)行了一部分限制。例如說(shuō)，一瞬間買(mǎi)家的訪(fǎng)問(wèn)流量實(shí)在太大了，原本我們準備了3個(gè)T，當到達2個(gè)T還在迅速增長(cháng)的時(shí)候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關(guān)掉一部分流量。如果不做限流，不讓一部分人先等等，可能會(huì )導致全盤(pán)系統的癱瘓。
這不是故障。淘寶技術(shù)經(jīng)過(guò)了2009年至2012年這幾年時(shí)間的發(fā)展和升級后，早已具備了經(jīng)受各種考驗的能力。
淘寶技術(shù)這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術(shù)發(fā)展的三個(gè)重要時(shí)間節點(diǎn)。
2008年以前，淘寶的系統不論是技術(shù)難度還是架構難度都不是特別大，因為那個(gè)時(shí)候的流量、數據量，使用常用的技術(shù)手段就能解決。例如業(yè)界常用的解決方案IOE（IBM的小型機、Oracle的數據庫、EMC的存儲）能夠幫我們支撐10億左右的訪(fǎng)問(wèn)量和10億級別的數據量。從最初的一臺普通的服務(wù)器到2008年幾千臺服務(wù)器加IOE解決方案，支撐了我們最初5年的發(fā)展。
但是到了2008年前后，我們有些問(wèn)題就沒(méi)有人能夠找到現成的解決方案了。例如我們的商品圖片，一開(kāi)始放在了本地硬盤(pán)上，2004年本地放不下了，買(mǎi)了NetApp公司推出的專(zhuān)業(yè)的NAS設備，隨著(zhù)圖片數量的不斷增長(cháng)，我們找NetApp公司買(mǎi)的設備越來(lái)越高級，到2007年的時(shí)候，我們發(fā)現他們最好的服務(wù)器已經(jīng)賣(mài)給我們，沒(méi)有更好的了。但是用戶(hù)還是不停的要上傳圖片，怎么幫他們解決呢？
別人無(wú)法解決，并不代表這個(gè)事情無(wú)解，淘寶的技術(shù)就在這個(gè)時(shí)間點(diǎn)上面從使用別人的技術(shù)轉變成了自己創(chuàng )造技術(shù)，馬總說(shuō)過(guò)“用錢(qián)能解決的問(wèn)題都不是問(wèn)題”，我們在2008年前后到了“用錢(qián)無(wú)法解決問(wèn)題”的時(shí)代。幸運的是，我們解決這些問(wèn)題并不是從頭做起的，我們并不是“開(kāi)拓者”。國外的google、facebook他們都已經(jīng)嘗試過(guò)自己解決技術(shù)上的問(wèn)題，而且他們解決了之后，會(huì )把原理開(kāi)放出來(lái)分享給大家（這是我們非常尊重這些企業(yè)的原因）。
于是，淘寶的技術(shù)牛人在此基礎上就嘗試著(zhù)去做分布式存儲、數據庫、中間件、負載均衡這樣一套電子商務(wù)操作系統。之后，經(jīng)過(guò)2009年至2012年期間一系列大型活動(dòng)的洗禮，這套系統已經(jīng)非常成熟。解決了原本用錢(qián)也解決不了的問(wèn)題后，淘寶技術(shù)開(kāi)始走向開(kāi)放。這時(shí)候不僅僅是要把淘寶自己建設好，很多技術(shù)的探索成果我們也開(kāi)源出去讓大家使用，來(lái)幫助我們的商家甚至競爭對手。從技術(shù)角度來(lái)講，淘寶對整個(gè)業(yè)界技術(shù)水平的提升有很大的推動(dòng)作用。淘寶在這幾年間，也從一個(gè)技術(shù)不被談及的公司走向了技術(shù)型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術(shù)體系又將走向何方，其實(shí)是很難想象的一件事情。除了軟件、應用系統開(kāi)發(fā)外，還有大數據相關(guān)的研究，用云計算技術(shù)來(lái)提升整個(gè)電商生態(tài)圈的信息化能力，系統底層的持續優(yōu)化等等。我們現在可以利用淘寶的數據告訴商家現在流行什么，哪個(gè)地方的人喜歡買(mǎi)什么樣的商品，用大數據給他們的生產(chǎn)和銷(xiāo)售做信息支持；我們提供了一個(gè)名叫“聚石塔”的電商云工作平臺，讓商家把各種工作軟件部署進(jìn)來(lái)，實(shí)時(shí)對接淘寶的數據接口，享受和淘寶一樣安全穩定的運行環(huán)境。這樣可以把很多線(xiàn)下手工操作的事情直接在線(xiàn)處理掉，有遠見(jiàn)的商家甚至已經(jīng)開(kāi)始利用云計算來(lái)整合自己的供應鏈系統了；我們還有人修改Linux內核，定制服務(wù)器硬件，開(kāi)發(fā)智能的部署方案，讓系統運行更加綠色高效。未來(lái)主要是圍繞大數據、云計算和智能化這幾個(gè)方向發(fā)展了。
數據不會(huì )說(shuō)謊
技術(shù)是為數據服務(wù)的，數據可以開(kāi)發(fā)出去，外面的數據也可以回流回來(lái)。按照馬總的說(shuō)法，我們現在變成了一個(gè)數據公司。
“大數據”的說(shuō)法非常響亮，以至于現在誰(shuí)提起大數據都感覺(jué)有些俗氣了。但是，大數據是很好的東西。
大數據為什么好？恰恰是因為它“大”。有個(gè)說(shuō)法，最近10年人類(lèi)所創(chuàng )造的數據占到人類(lèi)有史以來(lái)所創(chuàng )造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現在都記錄在互聯(lián)網(wǎng)上，所以數據非常龐大。
數據大了之后，有了搜索引擎，也有個(gè)更多可能的出現。有一個(gè)很經(jīng)典的案例，說(shuō)是通過(guò)谷歌的搜索引擎可以預測什么地方有流感。怎么預測呢？一般發(fā)生流感的時(shí)候，會(huì )有很多人在谷歌搜索“流鼻涕怎么治”。此時(shí)，谷歌通過(guò)統計分析，便可以得出哪個(gè)地方搜索類(lèi)似關(guān)鍵詞的人更多，判斷出此地發(fā)生流感的概率可能更高。這樣的反應速度比傳統的疫情機制反應速度要快很久。
還有一個(gè)好玩的例子，某景區從原先的免費開(kāi)放改為收門(mén)票之后，雖然網(wǎng)上抗議聲一片，但他們官方還是宣稱(chēng)他們的旅客數量在增長(cháng)。我們知道的情況是什么樣的呢？利用淘寶旅行上的數據，我們很明顯看到該景區酒店的訂單量起碼下降了一半。有時(shí)候，人們擅長(cháng)于對內調查，對外“創(chuàng )造”結果，可是數據永遠不會(huì )說(shuō)謊。
現在淘寶會(huì )定期公布一個(gè)數據，叫TCPI，淘寶物價(jià)指數。之前，淘寶只有幾百萬(wàn)用戶(hù)的時(shí)候，大家不敢做這個(gè)數據，即便你做了也沒(méi)人信。但是，基于現在的用戶(hù)數量，進(jìn)行這個(gè)數據統計分析后，它很受重視，甚至有些政府部門(mén)也很重視。他們也看到了，我們依賴(lài)數據做出來(lái)的統計更加高效，而他們自己則需要動(dòng)用大量的人力、物力，通過(guò)長(cháng)時(shí)間的調查可能才能得出這樣一個(gè)結論，淘寶技術(shù)人員寫(xiě)了個(gè)數據模型，把淘寶交易積累下幾十個(gè)T的數據放到服務(wù)器上運算，一個(gè)晚上就能分析出來(lái)了。這，就是大數據的威力。
對商家來(lái)說(shuō)，商家隨時(shí)可以利用大數據指導商業(yè)生產(chǎn)，例如幫助商家做生產(chǎn)預測。打個(gè)比方，對“今年流行長(cháng)裙，短裙還是熱褲？”的問(wèn)題，每個(gè)人的看法可能不一樣。而淘寶幾億用戶(hù)購買(mǎi)行為的實(shí)時(shí)數據是開(kāi)放的，商家通過(guò)淘寶指數對比一下，結果就出來(lái)了。一對比發(fā)現，其實(shí)今年長(cháng)裙最受關(guān)注。這時(shí)候，商家拿這些數據給生產(chǎn)女裝的廠(chǎng)家，就可以做出這樣的決策：生產(chǎn)熱褲的生產(chǎn)線(xiàn)不要多投精力，趕緊做長(cháng)裙。這就是用數據說(shuō)話(huà)。在十年前，誰(shuí)也拿不到這些數據，服裝的流行趨勢很多時(shí)候只能依賴(lài)時(shí)尚雜志?，F在，不如看數據更直接，而能夠做到這一點(diǎn)，正是因為淘寶有比較大的用戶(hù)基礎，數據量大了之后，獲取的信息才是貼近真實(shí)的。因此，將這里面的信息整合起來(lái)，就可以看到最真實(shí)的情況。
2012年11月11日，191億元“奇跡”誕生前，正當許多買(mǎi)家正在享受購物狂歡時(shí)，突然一條這樣的提示信息出現在眼前：我們的系統檢測到您所在的網(wǎng)絡(luò )對淘寶網(wǎng)的訪(fǎng)問(wèn)請求過(guò)于頻繁，很抱歉，現在暫時(shí)無(wú)法處理您的請求，請您過(guò)一段時(shí)間后再來(lái)訪(fǎng)問(wèn)。“系統崩潰”以及“支付癱瘓”隨之被傳播。
殊不知道，這其實(shí)是故意的。因為我們要調控全局，所以進(jìn)行了一部分限制。例如說(shuō)，一瞬間買(mǎi)家的訪(fǎng)問(wèn)流量實(shí)在太大了，原本我們準備了3個(gè)T，當到達2個(gè)T還在迅速增長(cháng)的時(shí)候，我們判斷這有可能超出我們的承受能力范圍，因此，我們必須關(guān)掉一部分流量。如果不做限流，不讓一部分人先等等，可能會(huì )導致全盤(pán)系統的癱瘓。
這不是故障。淘寶技術(shù)經(jīng)過(guò)了2009年至2012年這幾年時(shí)間的發(fā)展和升級后，早已具備了經(jīng)受各種考驗的能力。
淘寶技術(shù)這十年
2008年以前、2008年至2012年、2012年以后，這是淘寶技術(shù)發(fā)展的三個(gè)重要時(shí)間節點(diǎn)。
2008年以前，淘寶的系統不論是技術(shù)難度還是架構難度都不是特別大，因為那個(gè)時(shí)候的流量、數據量，使用常用的技術(shù)手段就能解決。例如業(yè)界常用的解決方案IOE（IBM的小型機、Oracle的數據庫、EMC的存儲）能夠幫我們支撐10億左右的訪(fǎng)問(wèn)量和10億級別的數據量。從最初的一臺普通的服務(wù)器到2008年幾千臺服務(wù)器加IOE解決方案，支撐了我們最初5年的發(fā)展。
但是到了2008年前后，我們有些問(wèn)題就沒(méi)有人能夠找到現成的解決方案了。例如我們的商品圖片，一開(kāi)始放在了本地硬盤(pán)上，2004年本地放不下了，買(mǎi)了NetApp公司推出的專(zhuān)業(yè)的NAS設備，隨著(zhù)圖片數量的不斷增長(cháng)，我們找NetApp公司買(mǎi)的設備越來(lái)越高級，到2007年的時(shí)候，我們發(fā)現他們最好的服務(wù)器已經(jīng)賣(mài)給我們，沒(méi)有更好的了。但是用戶(hù)還是不停的要上傳圖片，怎么幫他們解決呢？
別人無(wú)法解決，并不代表這個(gè)事情無(wú)解，淘寶的技術(shù)就在這個(gè)時(shí)間點(diǎn)上面從使用別人的技術(shù)轉變成了自己創(chuàng )造技術(shù)，馬總說(shuō)過(guò)“用錢(qián)能解決的問(wèn)題都不是問(wèn)題”，我們在2008年前后到了“用錢(qián)無(wú)法解決問(wèn)題”的時(shí)代。幸運的是，我們解決這些問(wèn)題并不是從頭做起的，我們并不是“開(kāi)拓者”。國外的google、facebook他們都已經(jīng)嘗試過(guò)自己解決技術(shù)上的問(wèn)題，而且他們解決了之后，會(huì )把原理開(kāi)放出來(lái)分享給大家（這是我們非常尊重這些企業(yè)的原因）。
于是，淘寶的技術(shù)牛人在此基礎上就嘗試著(zhù)去做分布式存儲、數據庫、中間件、負載均衡這樣一套電子商務(wù)操作系統。之后，經(jīng)過(guò)2009年至2012年期間一系列大型活動(dòng)的洗禮，這套系統已經(jīng)非常成熟。解決了原本用錢(qián)也解決不了的問(wèn)題后，淘寶技術(shù)開(kāi)始走向開(kāi)放。這時(shí)候不僅僅是要把淘寶自己建設好，很多技術(shù)的探索成果我們也開(kāi)源出去讓大家使用，來(lái)幫助我們的商家甚至競爭對手。從技術(shù)角度來(lái)講，淘寶對整個(gè)業(yè)界技術(shù)水平的提升有很大的推動(dòng)作用。淘寶在這幾年間，也從一個(gè)技術(shù)不被談及的公司走向了技術(shù)型公司，影響力大大提高。
到了2012年雙十一之后，淘寶技術(shù)體系又將走向何方，其實(shí)是很難想象的一件事情。除了軟件、應用系統開(kāi)發(fā)外，還有大數據相關(guān)的研究，用云計算技術(shù)來(lái)提升整個(gè)電商生態(tài)圈的信息化能力，系統底層的持續優(yōu)化等等。我們現在可以利用淘寶的數據告訴商家現在流行什么，哪個(gè)地方的人喜歡買(mǎi)什么樣的商品，用大數據給他們的生產(chǎn)和銷(xiāo)售做信息支持；我們提供了一個(gè)名叫“聚石塔”的電商云工作平臺，讓商家把各種工作軟件部署進(jìn)來(lái)，實(shí)時(shí)對接淘寶的數據接口，享受和淘寶一樣安全穩定的運行環(huán)境。這樣可以把很多線(xiàn)下手工操作的事情直接在線(xiàn)處理掉，有遠見(jiàn)的商家甚至已經(jīng)開(kāi)始利用云計算來(lái)整合自己的供應鏈系統了；我們還有人修改Linux內核，定制服務(wù)器硬件，開(kāi)發(fā)智能的部署方案，讓系統運行更加綠色高效。未來(lái)主要是圍繞大數據、云計算和智能化這幾個(gè)方向發(fā)展了。
數據不會(huì )說(shuō)謊
技術(shù)是為數據服務(wù)的，數據可以開(kāi)發(fā)出去，外面的數據也可以回流回來(lái)。按照馬總的說(shuō)法，我們現在變成了一個(gè)數據公司。
“大數據”的說(shuō)法非常響亮，以至于現在誰(shuí)提起大數據都感覺(jué)有些俗氣了。但是，大數據是很好的東西。
大數據為什么好？恰恰是因為它“大”。有個(gè)說(shuō)法，最近10年人類(lèi)所創(chuàng )造的數據占到人類(lèi)有史以來(lái)所創(chuàng )造信息的90%。以前記載在紙上、竹片上，承載能力非常有限，現在都記錄在互聯(lián)網(wǎng)上，所以數據非常龐大。
數據大了之后，有了搜索引擎，也有個(gè)更多可能的出現。有一個(gè)很經(jīng)典的案例，說(shuō)是通過(guò)谷歌的搜索引擎可以預測什么地方有流感。怎么預測呢？一般發(fā)生流感的時(shí)候，會(huì )有很多人在谷歌搜索“流鼻涕怎么治”。此時(shí)，谷歌通過(guò)統計分析，便可以得出哪個(gè)地方搜索類(lèi)似關(guān)鍵詞的人更多，判斷出此地發(fā)生流感的概率可能更高。這樣的反應速度比傳統的疫情機制反應速度要快很久。
還有一個(gè)好玩的例子，某景區從原先的免費開(kāi)放改為收門(mén)票之后，雖然網(wǎng)上抗議聲一片，但他們官方還是宣稱(chēng)他們的旅客數量在增長(cháng)。我們知道的情況是什么樣的呢？利用淘寶旅行上的數據，我們很明顯看到該景區酒店的訂單量起碼下降了一半。有時(shí)候，人們擅長(cháng)于對內調查，對外“創(chuàng )造”結果，可是數據永遠不會(huì )說(shuō)謊。
現在淘寶會(huì )定期公布一個(gè)數據，叫TCPI，淘寶物價(jià)指數。之前，淘寶只有幾百萬(wàn)用戶(hù)的時(shí)候，大家不敢做這個(gè)數據，即便你做了也沒(méi)人信。但是，基于現在的用戶(hù)數量，進(jìn)行這個(gè)數據統計分析后，它很受重視，甚至有些政府部門(mén)也很重視。他們也看到了，我們依賴(lài)數據做出來(lái)的統計更加高效，而他們自己則需要動(dòng)用大量的人力、物力，通過(guò)長(cháng)時(shí)間的調查可能才能得出這樣一個(gè)結論，淘寶技術(shù)人員寫(xiě)了個(gè)數據模型，把淘寶交易積累下幾十個(gè)T的數據放到服務(wù)器上運算，一個(gè)晚上就能分析出來(lái)了。這，就是大數據的威力。
對商家來(lái)說(shuō)，商家隨時(shí)可以利用大數據指導商業(yè)生產(chǎn)，例如幫助商家做生產(chǎn)預測。打個(gè)比方，對“今年流行長(cháng)裙，短裙還是熱褲？”的問(wèn)題，每個(gè)人的看法可能不一樣。而淘寶幾億用戶(hù)購買(mǎi)行為的實(shí)時(shí)數據是開(kāi)放的，商家通過(guò)淘寶指數對比一下，結果就出來(lái)了。一對比發(fā)現，其實(shí)今年長(cháng)裙最受關(guān)注。這時(shí)候，商家拿這些數據給生產(chǎn)女裝的廠(chǎng)家，就可以做出這樣的決策：生產(chǎn)熱褲的生產(chǎn)線(xiàn)不要多投精力，趕緊做長(cháng)裙。這就是用數據說(shuō)話(huà)。在十年前，誰(shuí)也拿不到這些數據，服裝的流行趨勢很多時(shí)候只能依賴(lài)時(shí)尚雜志?，F在，不如看數據更直接，而能夠做到這一點(diǎn)，正是因為淘寶有比較大的用戶(hù)基礎，數據量大了之后，獲取的信息才是貼近真實(shí)的。因此，將這里面的信息整合起來(lái)，就可以看到最真實(shí)的情況。
訪(fǎng)問(wèn)手機端更方便
技術(shù)創(chuàng )造價(jià)值 服務(wù)締造品牌
Copyright ? 2011-2024 鄭州開(kāi)拓者電子科技有限公司 All Rights Reserved
友情鏈接：
小程序開(kāi)發(fā)