1. 大型網(wǎng)站系統(tǒng)的特點(diǎn)

• 高并發(fā)、大流量
• 高可用
• 海量數(shù)據(jù)
• 用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜
• 安全環(huán)境惡劣
• 需求快速變更，迭代頻繁
• 漸進(jìn)式發(fā)展

2. 大型網(wǎng)站架構(gòu)演化歷程

2.1. 初始階段架構(gòu)

問題：網(wǎng)站運(yùn)營(yíng)初期，訪問用戶少，一臺(tái)服務(wù)器綽綽有余。

特征：應(yīng)用程序、數(shù)據(jù)庫、文件等所有的資源都在一臺(tái)服務(wù)器上。

描述：通常服務(wù)器操作系統(tǒng)使用 linux，應(yīng)用程序使用 PHP 開發(fā)，然后部署在 Apache 上，數(shù)據(jù)庫使用 Mysql，通俗稱為 LAMP。匯集各種免費(fèi)開源軟件以及一臺(tái)廉價(jià)服務(wù)器就可以開始系統(tǒng)的發(fā)展之路了。

2.2. 應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離

問題：越來越多的用戶訪問導(dǎo)致性能越來越差，越來越多的數(shù)據(jù)導(dǎo)致存儲(chǔ)空間不足，一臺(tái)服務(wù)器已不足以支撐。

特征：應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、文件服務(wù)器分別獨(dú)立部署。

描述：三臺(tái)服務(wù)器對(duì)性能要求各不相同：應(yīng)用服務(wù)器要處理大量業(yè)務(wù)邏輯，因此需要更快更強(qiáng)大的 CPU；數(shù)據(jù)庫服務(wù)器需要快速磁盤檢索和數(shù)據(jù)緩存，因此需要更快的硬盤和更大的內(nèi)存；文件服務(wù)器需要存儲(chǔ)大量文件，因此需要更大容量的硬盤。

2.3. 使用緩存改善性能

問題：隨著用戶逐漸增多，數(shù)據(jù)庫壓力太大導(dǎo)致訪問延遲。

特征：由于網(wǎng)站訪問和財(cái)富分配一樣遵循二八定律：80% 的業(yè)務(wù)訪問集中在 20% 的數(shù)據(jù)上。將數(shù)據(jù)庫中訪問較集中的少部分?jǐn)?shù)據(jù)緩存在內(nèi)存中，可以減少數(shù)據(jù)庫的訪問次數(shù)，降低數(shù)據(jù)庫的訪問壓力。

描述：緩存分為兩種：應(yīng)用服務(wù)器上的本地緩存和分布式緩存服務(wù)器上的遠(yuǎn)程緩存，本地緩存訪問速度更快，但緩存數(shù)據(jù)量有限，同時(shí)存在與應(yīng)用程序爭(zhēng)用內(nèi)存的情況。分布式緩存可以采用集群方式，理論上可以做到不受內(nèi)存容量限制的緩存服務(wù)。

2.4. 使用應(yīng)用服務(wù)器集群

問題：使用緩存后，數(shù)據(jù)庫訪問壓力得到有效緩解。但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限，在訪問高峰期，成為瓶頸。

特征：多臺(tái)服務(wù)器通過負(fù)載均衡同時(shí)向外部提供服務(wù)，解決單一服務(wù)器處理能力和存儲(chǔ)空間不足的問題。

描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務(wù)器的負(fù)載壓力不再成為整個(gè)系統(tǒng)的瓶頸。

2.5. 數(shù)據(jù)庫讀寫分離

問題：網(wǎng)站使用緩存后，使絕大部分?jǐn)?shù)據(jù)讀操作訪問都可以不通過數(shù)據(jù)庫就能完成，但是仍有一部分讀操作和全部的寫操作需要訪問數(shù)據(jù)庫，在網(wǎng)站的用戶達(dá)到一定規(guī)模后，數(shù)據(jù)庫因?yàn)樨?fù)載壓力過高而成為網(wǎng)站的瓶頸。

特征：目前大部分的主流數(shù)據(jù)庫都提供主從熱備功能，通過配置兩臺(tái)數(shù)據(jù)庫主從關(guān)系，可以將一臺(tái)數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)更新同步到一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫的主從熱備功能，實(shí)現(xiàn)數(shù)據(jù)庫讀寫分離，從而改善數(shù)據(jù)庫負(fù)載壓力。

描述：應(yīng)用服務(wù)器在寫操作的時(shí)候，訪問主數(shù)據(jù)庫，主數(shù)據(jù)庫通過主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫。這樣當(dāng)應(yīng)用服務(wù)器在讀操作的時(shí)候，訪問從數(shù)據(jù)庫獲得數(shù)據(jù)。為了便于應(yīng)用程序訪問讀寫分離后的數(shù)據(jù)庫，通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問模塊，使數(shù)據(jù)庫讀寫分離的對(duì)應(yīng)用透明。

2.6. 反向代理和 CDN 加速

問題：中國(guó)網(wǎng)絡(luò)環(huán)境復(fù)雜，不同地區(qū)的用戶訪問網(wǎng)站時(shí)，速度差別也極大。

特征：采用 CDN 和反向代理加快系統(tǒng)的靜態(tài)資源訪問速度。

描述：CDN 和反向代理的基本原理都是緩存，區(qū)別在于 CDN 部署在網(wǎng)絡(luò)提供商的機(jī)房，使用戶在請(qǐng)求網(wǎng)站服務(wù)時(shí)，可以從距離自己最近的網(wǎng)絡(luò)提供商機(jī)房獲取數(shù)據(jù)；而反向代理則部署在網(wǎng)站的中心機(jī)房，當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后，首先訪問的服務(wù)器時(shí)反向代理服務(wù)器，如果反向代理服務(wù)器中緩存著用戶請(qǐng)求的資源，就將其直接返回給用戶。

2.7. 分布式文件系統(tǒng)和分布式數(shù)據(jù)庫

問題：隨著大型網(wǎng)站業(yè)務(wù)持續(xù)增長(zhǎng)，數(shù)據(jù)庫經(jīng)過讀寫分離，從一臺(tái)服務(wù)器拆分為兩臺(tái)服務(wù)器，依然不能滿足需求。

特征：數(shù)據(jù)庫采用分布式數(shù)據(jù)庫，文件系統(tǒng)采用分布式文件系統(tǒng)。

描述：分布式數(shù)據(jù)庫是數(shù)據(jù)庫拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用。不到不得已時(shí)，更常用的數(shù)據(jù)庫拆分手段是業(yè)務(wù)分庫，將不同的業(yè)務(wù)數(shù)據(jù)庫部署在不同的物理服務(wù)器上。

2.8. 使用 NoSQL 和搜索引擎

問題：隨著網(wǎng)站業(yè)務(wù)越來越復(fù)雜，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來越復(fù)雜。

特征：系統(tǒng)引入 NoSQL 數(shù)據(jù)庫及搜索引擎。

描述：NoSQL 數(shù)據(jù)庫及搜索引擎對(duì)可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器通過統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。

2.9. 業(yè)務(wù)拆分

問題：大型網(wǎng)站的業(yè)務(wù)場(chǎng)景日益復(fù)雜，分為多個(gè)產(chǎn)品線。

特征：采用分而治之的手段將整個(gè)網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線。系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造，應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。

描述：應(yīng)用之間可以通過超鏈接建立關(guān)系，也可以通過消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然更多的還是通過訪問同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)。

縱向拆分：將一個(gè)大應(yīng)用拆分為多個(gè)小應(yīng)用，如果新業(yè)務(wù)較為獨(dú)立，那么就直接將其設(shè)計(jì)部署為一個(gè)獨(dú)立的 Web 應(yīng)用系統(tǒng)。縱向拆分相對(duì)較為簡(jiǎn)單，通過梳理業(yè)務(wù)，將較少相關(guān)的業(yè)務(wù)剝離即可。

橫向拆分：將復(fù)用的業(yè)務(wù)拆分出來，獨(dú)立部署為分布式服務(wù)，新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù)橫向拆分需要識(shí)別可復(fù)用的業(yè)務(wù)，設(shè)計(jì)服務(wù)接口，規(guī)范服務(wù)依賴關(guān)系。

2.10. 分布式服務(wù)

問題：隨著業(yè)務(wù)越拆越小，存儲(chǔ)系統(tǒng)越來越龐大，應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級(jí)上升，部署維護(hù)越來越困難。由于所有應(yīng)用要和所有數(shù)據(jù)庫系統(tǒng)連接，最終導(dǎo)致數(shù)據(jù)庫連接資源不足，拒絕服務(wù)。

特征：公共業(yè)務(wù)提取出來，獨(dú)立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫，通過分布式服務(wù)提供共用業(yè)務(wù)服務(wù)。

3. 大型網(wǎng)站架構(gòu)模式

3.1. 分層

大型網(wǎng)站架構(gòu)中常采用分層結(jié)構(gòu)，將軟件系統(tǒng)分為應(yīng)用層、服務(wù)層、數(shù)據(jù)層：

• 應(yīng)用層?- 負(fù)責(zé)具體業(yè)務(wù)和視圖展示。如網(wǎng)站首頁及搜索輸入和結(jié)果展示。
• 服務(wù)層?- 為應(yīng)用層提供服務(wù)支持。如用戶管理服務(wù)、購(gòu)物車服務(wù)等。
• 應(yīng)用層?- 提供數(shù)據(jù)存儲(chǔ)訪問服務(wù)。如數(shù)據(jù)庫、緩存、文件、搜索引擎等。

分層架構(gòu)的約束：禁止跨層次的調(diào)用（應(yīng)用層直接調(diào)用數(shù)據(jù)層）及逆向調(diào)用（數(shù)據(jù)層調(diào)用服務(wù)層，或者服務(wù)層調(diào)用應(yīng)用層）。

分層結(jié)構(gòu)內(nèi)部還可以繼續(xù)分層，如應(yīng)用可以再細(xì)分為視圖層和業(yè)務(wù)邏輯層；服務(wù)層也可以細(xì)分為數(shù)據(jù)接口層和邏輯處理層。

3.2. 分割

將不同的功能和服務(wù)分割開來，包裝成高內(nèi)聚低耦合的模塊單元。這有助于軟件的開發(fā)和維護(hù)，便于不同模塊的分布式部署，提高網(wǎng)站的并發(fā)處理能力和功能擴(kuò)展能力。

3.3. 分布式

大于大型網(wǎng)站，分層和分割的一個(gè)主要目的是為了切分后的模塊便于分布式部署，即將不同模塊部署在不同的服務(wù)器上，通過遠(yuǎn)程調(diào)用協(xié)同工作。

分布式意味可以用更多的機(jī)器工作，那么 CPU、內(nèi)存、存儲(chǔ)資源也就更豐富，能夠處理的并發(fā)訪問和數(shù)據(jù)量就越大，進(jìn)而能夠?yàn)楦嗟挠脩籼峁┓?wù)。

分布式也引入了一些問題：

• 服務(wù)調(diào)用必須通過網(wǎng)絡(luò)，網(wǎng)絡(luò)延遲會(huì)影響性能
• 服務(wù)器越多，宕機(jī)概率也越大，是可用性降低
• 數(shù)據(jù)一致性非常困難，分布式事務(wù)也難以保證
• 網(wǎng)站依賴錯(cuò)綜復(fù)雜，開發(fā)管理維護(hù)困難

常用的分布式方案：

• 分布式應(yīng)用和服務(wù)
• 分布式靜態(tài)資源
• 分布式數(shù)據(jù)和存儲(chǔ)
• 分布式計(jì)算

3.4. 集群

集群即多臺(tái)服務(wù)器部署相同應(yīng)用構(gòu)成一個(gè)集群，通過負(fù)載均衡設(shè)備共同對(duì)外提供服務(wù)。

集群需要具備伸縮性和故障轉(zhuǎn)移機(jī)制：伸縮性是指可以根據(jù)用戶訪問量向集群添加或減少機(jī)器；故障轉(zhuǎn)移是指，當(dāng)某臺(tái)機(jī)器出現(xiàn)故障時(shí)，負(fù)載均衡設(shè)備或失效轉(zhuǎn)移機(jī)制將請(qǐng)求轉(zhuǎn)發(fā)到集群中的其他機(jī)器上，從而不影響用戶使用。

3.5. 緩存

緩存就是將數(shù)據(jù)存放在距離最近的位置以加快處理速度。緩存是改善軟件性能的第一手段。

網(wǎng)站應(yīng)用中，緩存除了可以加快數(shù)據(jù)訪問速度以外，還可以減輕后端應(yīng)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力。

常見緩存手段：

• CDN
• 反向代理
• 本地緩存
• 分布式緩存

使用緩存有兩個(gè)前提：

• 數(shù)據(jù)訪問熱點(diǎn)不均勻，頻繁訪問的數(shù)據(jù)應(yīng)該放在緩存中
• 數(shù)據(jù)在某個(gè)時(shí)間段有效，不過很快過期，否則緩存數(shù)據(jù)會(huì)因已經(jīng)失效而產(chǎn)生臟讀

3.6. 異步

軟件發(fā)展的一個(gè)重要目標(biāo)和驅(qū)動(dòng)力是降低軟件耦合性。事物之間直接關(guān)系越少，彼此影響就越小，也就更容易獨(dú)立發(fā)展。

大型網(wǎng)站架構(gòu)中，系統(tǒng)解耦的手段除了分層、分割、分布式等，還有一個(gè)重要手段——異步。

業(yè)務(wù)間的消息傳遞不是同步調(diào)用，而是將一個(gè)業(yè)務(wù)操作拆分成多階段，每個(gè)階段間通過共享數(shù)據(jù)的方式異步執(zhí)行進(jìn)行協(xié)作。

• 在單一服務(wù)器內(nèi)部可通過多線程共享內(nèi)存隊(duì)列的方式實(shí)現(xiàn)異步，處在業(yè)務(wù)操作前面的線程將操作輸出到隊(duì)列，后面的線程從隊(duì)列中讀取數(shù)據(jù)進(jìn)行處理；
• 在分布式系統(tǒng)中，多個(gè)服務(wù)器集群通過分布式消息隊(duì)列實(shí)現(xiàn)異步。

異步架構(gòu)是典型的生產(chǎn)者消費(fèi)模式，二者不存在直接調(diào)用。異步消息隊(duì)列還有如下特性：

• 提高系統(tǒng)可用性
• 加快響應(yīng)速度
• 消除并發(fā)訪問高峰

3.7. 冗余

大型網(wǎng)站，出現(xiàn)服務(wù)器宕機(jī)是必然事件。要保證部分服務(wù)器宕機(jī)的情況下網(wǎng)站依然可以繼續(xù)服務(wù)，不丟失數(shù)據(jù)，就需要一定程度的服務(wù)器冗余運(yùn)行，數(shù)據(jù)冗余備份。這樣當(dāng)某臺(tái)服務(wù)器宕機(jī)是，可以將其上的服務(wù)和數(shù)據(jù)訪問轉(zhuǎn)移到其他機(jī)器上。

訪問和負(fù)載很小的服務(wù)也必須部署 至少兩臺(tái)服務(wù)器構(gòu)成一個(gè)集群，目的就是通過冗余實(shí)現(xiàn)服務(wù)高可用。數(shù)據(jù)除了定期備份，存檔保存，實(shí)現(xiàn)?冷備份?外；為了保證在線業(yè)務(wù)高可用，還需要對(duì)數(shù)據(jù)庫進(jìn)行主從分離，實(shí)時(shí)同步實(shí)現(xiàn)?熱備份。

為了抵御地震、海嘯等不可抗因素導(dǎo)致的網(wǎng)站完全癱瘓，某些大型網(wǎng)站會(huì)對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行備份，全球范圍內(nèi)部署?災(zāi)備數(shù)據(jù)中心。網(wǎng)站程序和數(shù)據(jù)實(shí)時(shí)同步到多個(gè)災(zāi)備數(shù)據(jù)中心。

3.8. 自動(dòng)化

大型網(wǎng)站架構(gòu)的自動(dòng)化架構(gòu)設(shè)計(jì)主要集中在發(fā)布運(yùn)維方面：

• 發(fā)布過程自動(dòng)化
  • 自動(dòng)化代碼管理
  • 自動(dòng)化測(cè)試
  • 自動(dòng)化安全監(jiān)測(cè)
  • 自動(dòng)化部署
• 運(yùn)維自動(dòng)化
  • 自動(dòng)化監(jiān)控
  • 自動(dòng)化報(bào)警
  • 自動(dòng)化失效轉(zhuǎn)移
  • 自動(dòng)化失效恢復(fù)
  • 自動(dòng)化降級(jí)
  • 自動(dòng)化分配資源

3.9. 安全

• 密碼?和?手機(jī)校驗(yàn)碼?進(jìn)行身份認(rèn)證
• 登錄、交易等重要操作需要對(duì)網(wǎng)絡(luò)通信進(jìn)行?加密，存儲(chǔ)的敏感數(shù)據(jù)如用戶信息等也進(jìn)行加密處理
• 防止機(jī)器人程序攻擊網(wǎng)站，使用?驗(yàn)證碼?進(jìn)行識(shí)別
• 對(duì)常見用于?攻擊?網(wǎng)站的 XSS 攻擊、SQL 注入、進(jìn)行編碼轉(zhuǎn)換等相應(yīng)處理
• 對(duì)垃圾信息、敏感信息進(jìn)行?過濾
• 對(duì)交易轉(zhuǎn)賬等重要操作根據(jù)交易模式和交易信息進(jìn)行?風(fēng)險(xiǎn)控制

4. 大型網(wǎng)站核心架構(gòu)要素

架構(gòu)?的一種通俗說法是：最高層次的規(guī)劃，難以改變的決定。

除了系統(tǒng)功能需求外，架構(gòu)還需要關(guān)注以下架構(gòu)要素：

4.1. 性能

性能問題無處不在，所以網(wǎng)站性能優(yōu)化手段也十分繁多：

• 前端
  • 瀏覽器緩存
  • 靜態(tài)資源壓縮
  • 合理布局頁面
  • 減少 cookie 傳輸
  • CDN
• 應(yīng)用服務(wù)器
  • 本地緩存
  • 分布式緩存
  • 異步消息隊(duì)列
  • 集群
  • 代碼層面：使用多線程、改善內(nèi)存管理
• 數(shù)據(jù)庫
  • 索引
  • 數(shù)據(jù)庫緩存
  • SQL 優(yōu)化

4.2. 可用性

可用性指部分服務(wù)器出現(xiàn)故障時(shí)，還能否對(duì)用戶提供服務(wù)

• 冗余自動(dòng)化：通過預(yù)發(fā)布驗(yàn)證、自動(dòng)化測(cè)試、自動(dòng)化發(fā)布、灰度發(fā)布等手段，減少將故障引入線上環(huán)境的可能
  • 通過負(fù)載均衡設(shè)備建立集群共同對(duì)外提供服務(wù)
  • 數(shù)據(jù)存儲(chǔ)在多臺(tái)服務(wù)器，互相備份

4.3. 伸縮性

衡量伸縮的標(biāo)準(zhǔn)就是是否可以用多臺(tái)服務(wù)器構(gòu)建集群，是否容易向集群中增刪服務(wù)器節(jié)點(diǎn)。增刪服務(wù)器節(jié)點(diǎn)后是否可以提供和之前無差別的服務(wù)。集群中可容納的總服務(wù)器數(shù)是否有限制。

• 應(yīng)用服務(wù)器集群 - 只要服務(wù)器上保存數(shù)據(jù)，則所有服務(wù)器都是對(duì)等的，通過負(fù)載均衡設(shè)備向集群中不斷加入服務(wù)器即可
• 緩存服務(wù)器集群 - 加入新的服務(wù)器可能會(huì)導(dǎo)致緩存路由失效，進(jìn)而導(dǎo)致集群中的大部分緩存數(shù)據(jù)都無法訪問。雖然緩存數(shù)據(jù)可以通過數(shù)據(jù)庫重新加載，但是如果應(yīng)用嚴(yán)重依賴緩存，可能會(huì)導(dǎo)致網(wǎng)站崩潰。需要改進(jìn)緩存路由算法保證緩存數(shù)據(jù)的可訪問性。
• 關(guān)系型數(shù)據(jù)庫集群 - 關(guān)系型數(shù)據(jù)庫雖然支持?jǐn)?shù)據(jù)復(fù)制，主從熱備等機(jī)制，但是很難做到大規(guī)模集群的可伸縮性，因此關(guān)系型數(shù)據(jù)庫的集群伸縮性方案必須在數(shù)據(jù)庫之外實(shí)現(xiàn)，通過路由分區(qū)等手段將部署有多個(gè)數(shù)據(jù)庫的服務(wù)器組成一個(gè)集群。
• NOSql 數(shù)據(jù)庫集群 - 由于先天就是為了應(yīng)對(duì)海量數(shù)據(jù)而產(chǎn)生，因此對(duì)伸縮性的支持通常都非常好。

4.4. 擴(kuò)展性

衡量擴(kuò)展性的標(biāo)準(zhǔn)就是增加新的業(yè)務(wù)產(chǎn)品時(shí)，是否可以實(shí)現(xiàn)對(duì)現(xiàn)有產(chǎn)品透明無影響，不需要任何改動(dòng)或很少改動(dòng)，既有功能就可以上線新產(chǎn)品。主要手段有：事件驅(qū)動(dòng)架構(gòu)和分布式服務(wù)。

4.5. 安全性

安全性保護(hù)網(wǎng)站不受惡意攻擊，保護(hù)網(wǎng)站重要數(shù)據(jù)不被竊取。

【博客福利】Java高級(jí)資料免費(fèi)免費(fèi)領(lǐng)取，需要的自己領(lǐng)取，一共30G。
傳送門：?https://mp.weixin.qq.com/s/JzddfH-7yNudmkjT0IRL8Q

轉(zhuǎn)載于:https://www.cnblogs.com/yuxiang1/p/10784700.html

總結(jié)

以上是生活随笔為你收集整理的大型互联网架构概述，看完文章又涨知识了的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。