本文大綱：

1. 使用電商案例的原因

2. 電商網(wǎng)站需求

3. 網(wǎng)站初級架構(gòu)

4. 系統(tǒng)容量估算

5. 網(wǎng)站架構(gòu)分析

6. 網(wǎng)站架構(gòu)優(yōu)化

本文主題為電商網(wǎng)站架構(gòu)案例，將介紹如何從電商網(wǎng)站的需求，到單機架構(gòu)，逐步演變?yōu)槌Ｓ玫?、可供參考的分布式架?gòu)原型。除具備功能需求外，還具備一定的高性能、高可用、可伸縮、可擴展等非功能質(zhì)量需求(架構(gòu)目標)。

根據(jù)實際需要，進行改造、擴展、支持千萬PV，是沒問題的。

使用電商案例的原因

?

分布式大型網(wǎng)站，目前看主要有幾類：

大型門戶(比如網(wǎng)易、新浪等)；

SNS網(wǎng)站(比如校內(nèi)、開心網(wǎng)等)；

電商網(wǎng)站(比如阿里巴巴、京東商城、國美在線、汽車之家等)。

大型門戶一般是新聞類信息，可以使用CDN、靜態(tài)化等方式優(yōu)化。而開心網(wǎng)等交互性比較多，可能會引入更多的NoSQL、分布式緩存、使用高性能的通信框架等。電商網(wǎng)站具備以上兩類的特點，比如產(chǎn)品詳情可以采用CDN，靜態(tài)化，交互性高的需要采用NoSQL等技術(shù)。因此，我們采用電商網(wǎng)站作為案例，進行分析。

電商網(wǎng)站需求

?

客戶需求：

• 建立一個全品類的電子商務(wù)網(wǎng)站(B2C)，用戶可以在線購買商品，可以在線支付，也可以貨到付款；

• 用戶購買時可以在線與客服溝通；

• 用戶收到商品后，可以給商品打分和評價；

• 目前有成熟的進銷存系統(tǒng)，需要與網(wǎng)站對接；

• 希望能夠支持3~5年，業(yè)務(wù)的發(fā)展；

• 預(yù)計3~5年用戶數(shù)達到1000萬；

• 定期舉辦雙11、雙12、三八男人節(jié)等活動；

• 其他的功能參考京東或國美在線等網(wǎng)站。

客戶就是客戶，不會告訴你具體要什么，只會告訴你他想要什么，我們很多時候要引導(dǎo)、挖掘客戶的需求。好在提供了明確的參考網(wǎng)站。因此，下一步要進行大量的分析，結(jié)合行業(yè)以及參考網(wǎng)站，給客戶提供方案。其它的這里暫不展開。

需求功能矩陣

需求管理傳統(tǒng)的做法，會使用例圖或模塊圖(需求列表)進行需求的描述。這樣做常常忽視掉一個很重要的需求(非功能需求)，因此推薦大家使用需求功能矩陣，進行需求描述。

本電商網(wǎng)站的需求矩陣如下：

以上是對電商網(wǎng)站需求的簡單舉例，目的是說明：

需求分析的時候，要全面，大型分布式系統(tǒng)重點考慮非功能需求；

描述一個簡單的電商需求場景，使大家對下一步的分析設(shè)計有個依據(jù)。

網(wǎng)站初級架構(gòu)

?

一般網(wǎng)站剛開始的做法，是三臺服務(wù)器，一臺部署應(yīng)用，一臺部署數(shù)據(jù)庫，一臺部署NFS文件系統(tǒng)。

這是前幾年比較傳統(tǒng)的做法，之前見到一個網(wǎng)站10萬多會員，垂直服裝設(shè)計門戶，N多圖片。使用了一臺服務(wù)器部署了應(yīng)用，數(shù)據(jù)庫以及圖片存儲。出現(xiàn)了很多性能問題。如下圖：

但是，目前主流的網(wǎng)站架構(gòu)已經(jīng)發(fā)生了翻天覆地的變化。一般都會采用集群的方式，進行高可用設(shè)計。至少是下面這個樣子：

使用集群對應(yīng)用服務(wù)器進行冗余，實現(xiàn)高可用(負載均衡設(shè)備可與應(yīng)用一塊部署)；

使用數(shù)據(jù)庫主備模式，實現(xiàn)數(shù)據(jù)備份和高可用。

?

系統(tǒng)容量預(yù)估

?

預(yù)估步驟：

注冊用戶數(shù)-日均UV量-每日的PV量-每天的并發(fā)量；

峰值預(yù)估：平常量的2~3倍；

根據(jù)并發(fā)量(并發(fā)，事務(wù)數(shù))，存儲容量計算系統(tǒng)容量。

客戶需求：3~5年用戶數(shù)達到1000萬注冊用戶；

每秒并發(fā)數(shù)預(yù)估：

每天的UV為200萬(二八原則)；

每日每天點擊瀏覽30次；

PV量：200*30=6000萬；

集中訪問量：24*0.2=4.8小時會有6000萬*0.8=4800萬(二八原則)；

每分并發(fā)量：4.8*60=288分鐘，每分鐘訪問4800/288=16.7萬(約等于)；

每秒并發(fā)量：16.7萬/60=2780(約等于)；

假設(shè)：高峰期為平常值的三倍，則每秒的并發(fā)數(shù)可以達到8340次；

1毫秒=1.3次訪問。

沒好好學(xué)數(shù)學(xué)后悔了吧？！(不知道以上算是否有錯誤，呵呵~~)

服務(wù)器預(yù)估(以Tomcat服務(wù)器舉例)：

按一臺Web服務(wù)器，支持每秒300個并發(fā)計算。平常需要10臺服務(wù)器(約等于)；[Tomcat默認配置是150]

高峰期：需要30臺服務(wù)器；

容量預(yù)估：70/90原則

系統(tǒng)CPU一般維持在70%左右的水平，高峰期達到90%的水平，是不浪費資源，并比較穩(wěn)定的。內(nèi)存，IO類似。

以上預(yù)估僅供參考，因為服務(wù)器配置，業(yè)務(wù)邏輯復(fù)雜度等都有影響。在此CPU、硬盤、網(wǎng)絡(luò)等不再進行評估。

網(wǎng)站架構(gòu)分析

?

根據(jù)以上預(yù)估，有幾個問題：

• 需要部署大量的服務(wù)器，高峰期計算，可能要部署30臺Web服務(wù)器。并且這三十臺服務(wù)器，只有秒殺，活動時才會用到，存在大量的浪費。

• 所有的應(yīng)用部署在同一臺服務(wù)器，應(yīng)用之間耦合嚴重。需要進行垂直切分和水平切分。

• 大量應(yīng)用存在冗余代碼。

• 服務(wù)器Session同步耗費大量內(nèi)存和網(wǎng)絡(luò)帶寬。

• 數(shù)據(jù)需要頻繁訪問數(shù)據(jù)庫，數(shù)據(jù)庫訪問壓力巨大。

大型網(wǎng)站一般需要做以下架構(gòu)優(yōu)化(優(yōu)化是架構(gòu)設(shè)計時，就要考慮的，一般從架構(gòu)/代碼級別解決，調(diào)優(yōu)主要是簡單參數(shù)的調(diào)整，比如JVM調(diào)優(yōu)；如果調(diào)優(yōu)涉及大量代碼改造，就不是調(diào)優(yōu)了，屬于重構(gòu))：

• 業(yè)務(wù)拆分

• 應(yīng)用集群部署(分布式部署，集群部署和負載均衡)

• 多級緩存

• 單點登錄(分布式Session)

• 數(shù)據(jù)庫集群(讀寫分離，分庫分表)

• 服務(wù)化

• 消息隊列

• 其它技術(shù)

?

網(wǎng)站架構(gòu)優(yōu)化

?

1業(yè)務(wù)拆分

?

根據(jù)業(yè)務(wù)屬性進行垂直切分，劃分為產(chǎn)品子系統(tǒng)、購物子系統(tǒng)、支付子系統(tǒng)、評論子系統(tǒng)、客服子系統(tǒng)、接口子系統(tǒng)(對接如進銷存、短信等外部系統(tǒng))。

根據(jù)業(yè)務(wù)子系統(tǒng)進行等級定義，可分為核心系統(tǒng)和非核心系統(tǒng)。

• 核心系統(tǒng)：產(chǎn)品子系統(tǒng)、購物子系統(tǒng)、支付子系統(tǒng)；

• 非核心：評論子系統(tǒng)、客服子系統(tǒng)、接口子系統(tǒng)。

業(yè)務(wù)拆分作用：提升為子系統(tǒng)可由專門的團隊和部門負責(zé)，專業(yè)的人做專業(yè)的事，解決模塊之間耦合以及擴展性問題；每個子系統(tǒng)單獨部署，避免集中部署導(dǎo)致一個應(yīng)用掛了，全部應(yīng)用不可用的問題。

等級定義作用：用于流量突發(fā)時，對關(guān)鍵應(yīng)用進行保護，實現(xiàn)優(yōu)雅降級；保護關(guān)鍵應(yīng)用不受到影響。

拆分后的架構(gòu)圖：

參考部署方案2

如上圖每個應(yīng)用單獨部署

核心系統(tǒng)和非核心系統(tǒng)組合部署

2應(yīng)用集群部署(分布式，集群，負載均衡)

?

分布式部署：將業(yè)務(wù)拆分后的應(yīng)用單獨部署，應(yīng)用直接通過RPC進行遠程通信；

集群部署：電商網(wǎng)站的高可用要求，每個應(yīng)用至少部署兩臺服務(wù)器進行集群部署；

負載均衡：高可用系統(tǒng)必須的，一般應(yīng)用通過負載均衡實現(xiàn)高可用，分布式服務(wù)通過內(nèi)置的負載均衡實現(xiàn)高可用，關(guān)系型數(shù)據(jù)庫通過主備方式實現(xiàn)高可用。

集群部署后架構(gòu)圖：

?

?

3多級緩存

?

緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式，進行緩存的設(shè)計。一級緩存為本地緩存，二級緩存為分布式緩存。(還有頁面緩存，片段緩存等，那是更細粒度的劃分)

一級緩存，緩存數(shù)據(jù)字典，和常用熱點數(shù)據(jù)等基本不可變/有規(guī)則變化的信息；二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時，訪問二級緩存的數(shù)據(jù)。如果二級緩存也沒有，則訪問數(shù)據(jù)庫。

緩存的比例，一般1:4，即可考慮使用緩存。(理論上是1:2即可)。

根據(jù)業(yè)務(wù)特性可使用以下緩存過期策略：

緩存自動過期

緩存觸發(fā)過期

?

4單點登錄(分布式Session)

?

系統(tǒng)分割為多個子系統(tǒng)，獨立部署后，不可避免地會遇到會話管理的問題。一般可采用Session同步，Cookies，分布式Session方式。電商網(wǎng)站一般采用分布式Session實現(xiàn)。

再進一步可以根據(jù)分布式Session，建立完善的單點登錄或賬戶管理系統(tǒng)。

流程說明：

用戶第一次登錄時，將會話信息(用戶Id和用戶信息)，比如以用戶ID為Key，寫入分布式Session；

用戶再次登錄時，獲取分布式Session，是否有會話信息，如果沒有則調(diào)到登錄頁；

一般采用Cache中間件實現(xiàn)，建議使用Redis，因此它有持久化功能，方便分布式Session宕機后，可以從持久化存儲中加載會話信息；

存入會話時，可以設(shè)置會話保持的時間，比如15分鐘，超過后自動超時；

結(jié)合Cache中間件，實現(xiàn)的分布式Session，可以很好的模擬Session會話。

5數(shù)據(jù)庫集群(讀寫分離，分庫分表)

?

大型網(wǎng)站需要存儲海量的數(shù)據(jù)，為達到海量數(shù)據(jù)存儲，高可用，高性能一般采用冗余的方式進行系統(tǒng)設(shè)計。一般有兩種方式讀寫分離和分庫分表。

讀寫分離：一般解決讀比例遠大于寫比例的場景，可采用一主一備，一主多備或多主多備方式。

本案例在業(yè)務(wù)拆分的基礎(chǔ)上，結(jié)合分庫分表和讀寫分離。如下圖：

業(yè)務(wù)拆分后：每個子系統(tǒng)需要單獨的庫；

如果單獨的庫太大，可以根據(jù)業(yè)務(wù)特性，進行再次分庫，比如商品分類庫，產(chǎn)品庫；

分庫后，如果表中有數(shù)據(jù)量很大的，則進行分表，一般可以按照ID，時間等進行分表；(高級的用法是一致性Hash)；

在分庫，分表的基礎(chǔ)上，進行讀寫分離。

相關(guān)中間件可參考Cobar(阿里，目前已不在維護)，TDDL(阿里)，Atlas(奇虎360)，MyCat(在Cobar基礎(chǔ)上，國內(nèi)很多牛人，號稱國內(nèi)第一開源項目)。

6服務(wù)化

?

將多個子系統(tǒng)公用的功能/模塊，進行抽取，作為公用服務(wù)使用。比如本案例的會員子系統(tǒng)就可以抽取為公用的服務(wù)。

?

?

7消息隊列

?

消息隊列可以解決子系統(tǒng)/模塊之間的耦合，實現(xiàn)異步，高可用，高性能的系統(tǒng)，是分布式系統(tǒng)的標準配置。本案例中，消息隊列主要應(yīng)用在購物，配送環(huán)節(jié)。

用戶下單后，寫入消息隊列，后直接返回客戶端；

庫存子系統(tǒng)：讀取消息隊列信息，完成減庫存；

配送子系統(tǒng)：讀取消息隊列信息，進行配送。

目前使用較多的MQ有Active MQ、Rabbit MQ、Zero MQ、MS MQ等，需要根據(jù)具體的業(yè)務(wù)場景進行選擇。建議可以研究下RabbitMQ。

更多詳情可參考社群過往文章：

• RabbitMQ高級指南：從配置、使用到高可用集群搭建

• 大話消息隊列的流派之爭

• 一網(wǎng)打盡消息隊列在大型分布式系統(tǒng)中的實戰(zhàn)精髓

• 網(wǎng)易蜂巢微服務(wù)架構(gòu)：用RabbitMQ實現(xiàn)輕量級通信

8其它架構(gòu)(技術(shù))

?

除了以上介紹的業(yè)務(wù)拆分、應(yīng)用集群、多級緩存、單點登錄、數(shù)據(jù)庫集群、服務(wù)化、消息隊列外。還有CDN、反向代理、分布式文件系統(tǒng)、大數(shù)據(jù)處理等系統(tǒng)。

此處不詳細介紹，大家可以問度娘/Google，有機會的話也可以分享給大家。

總結(jié)

?

以上是本次分享的架構(gòu)總結(jié)，細節(jié)可參考前面分享的內(nèi)容。其中還有很多可以優(yōu)化和細化的地方，因為是案例分享，主要針對重要部分做了介紹，工作中需要大家根據(jù)具體的業(yè)務(wù)場景進行架構(gòu)設(shè)計。希望能對大家有所啟發(fā)。

轉(zhuǎn)：

?http://mp.weixin.qq.com/s/xc2L7hqxBaOwnSAXw_kUjw

總結(jié)

以上是生活随笔為你收集整理的以电商网站为例，谈大型分布式架构设计与优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。