分布式服务下的关键技术(转)
系統架構演化歷程-初始階段架構
?
初始階段的小型系統?應用程序、數據庫、文件等所有的資源都在一臺服務器上通俗稱為LAMP(linux、apache、mysql、php)。
?
特征:
應用程序、數據庫、文件等所有的資源都在一臺服務器上。
?
描述:
通常服務器操作系統使用linux,應用程序使用PHP開發,然后部署在Apache上,數據庫使用Mysql,匯集各種免費開源軟件以及一臺廉價服務器就可以開始系統的發展之路了。
?
?
系統架構演化歷程-應用服務和數據服務分離
?
好景不長,發現隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver。
特征:
應用程序、數據庫、文件分別部署在獨立的資源上。
?
描述:
數據量增加,單臺服務器性能及存儲空間不足,需要將應用和數據分離,并發處理能力和數據存儲空間得到了很大改善。
?
系統架構演化歷程-使用緩存改善性能
?
特征:
數據庫中訪問較集中的一小部分數據存儲在緩存服務器中,減少數據庫的訪問次數,降低數據庫的訪問壓力。
描述:
系統訪問特點遵循二八定律,即80%的業務訪問集中在20%的數據上。
緩存分為本地緩存和遠程分布式緩存,本地緩存訪問速度更快但緩存數據量有限,同時存在與應用程序爭用內存的情況。
?
?
系統架構演化歷程-使用應用服務器集群
這里的應用服務器集群是說: 多個應用服務器做的是同樣的事情,目的是負載均衡。為什么要負載均衡呢? 比如一臺應用服務器提供服務,那么用戶訪問量很大的時候,肯定響應不過來,所以,我們可以讓用戶訪問不同的服務器,但是提供的時同樣的功能,這也是集群的特點。
在做完分庫分表這些工作后,數據庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了,突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先查看數據庫,壓力一切正常,之后查看webserver,發現apache阻塞了很多的請求,而應用服務器對每個請求也是比較快的,看來 是請求數太高導致需要排隊等待,響應速度變慢。 特征: 多臺服務器通過負載均衡同時向外部提供服務,解決單臺服務器處理能力和存儲空間上限的問題。 描述:使用集群是系統解決高并發、海量數據問題的常用手段。通過向集群中追加資源,提升系統的并發處理能力,使得服務器的負載壓力不再成為整個系統的瓶頸。
?
?
系統架構演化歷程-數據庫讀寫分離
享受了一段時間的系統訪問量高速增長的幸福后,發現系統又開始變慢了,這次又是什么狀況呢,經過查找,發現數據庫寫入、更新的這些操作的部分數據庫連接的資源競爭非常激烈,導致了系統變慢。
特征:
多臺服務器通過負載均衡同時向外部提供服務,解決單臺服務器處理能力和存儲空間上限的問題。
?
描述:
使用集群是系統解決高并發、海量數據問題的常用手段。通過向集群中追加資源,使得服務器的負載壓力不在成為整個系統的瓶頸。
?
?
系統架構演化歷程-反向代理和CDN加速
特征:
采用CDN和反向代理加快系統的 訪問速度。
描述:
為了應付復雜的網絡環境和不同地區用戶的訪問,通過CDN和反向代理加快用戶訪問的速度,同時減輕后端服務器的負載壓力。CDN與反向代理的基本原理都是緩存。
那么什么是正向代理,什么是反向代理呢??這篇文章講的很好。
即我們FQ的時候,需要通過正向代理服務器請求一個國外的服務器,它來幫助我們請求,而服務器不知道真正的請求者是誰。 即正向代理的對象是用戶,我們是用戶,所以為正。
而比如我們打10086的時候,不同地區會有不同地區的人來回答,那么我們是無法知道真正提供服務的服務器是哪個。?即反向代理的對象是服務器, 我們是用戶,而服務器是對方,反方,所以是反。
?
那么為什么要做反向代理呢?
因為在計算機的世界里,由于單個服務器的處理客戶端(用戶)請求能力有一個極限,當用戶的接入請求蜂擁而入時,會造成服務器忙不過來的局面,可以使用多個服務器來共同分擔成千上萬的用戶請求,這些服務器提供相同的服務,對于用戶來說,根本感覺不到任何差別。?且反向代理都是為了實現負載均衡的。
? 所以在上圖中,基本的步驟就是:用戶訪問的時CDN服務器,然后訪問方向代理服務器,接著反向代理服務器通過負載均衡給用戶提供空閑的服務器提供服務,這樣來減小壓力。
?
?
系統架構演化歷程-分布式文件系統和分布式數據庫
隨著系統的不斷運行,數據量開始大幅度增長,這個時候發現分庫后查詢仍然會有些慢,于是按照分庫的思想開始做分表的工作。?
特征:
數據庫采用分布式數據庫,文件系統采用分布式文件系統。
?
描述:
任何強大的單一服務器都滿足不了大型系統持續增長的業務需求,數據庫讀寫分離隨著業務的發展最終也將無法滿足需求,需要使用分布式數據庫及分布式文件系統來支撐。分布式數據庫是系統數據庫拆分的最后方法,只有在單表數據規模非常龐大的時候才使用,更常用的數據庫拆分手段是業務分庫,將不同的業務數據庫部署在不同的物理服務器上。 之所以說他們是分布式,而不是集群,是因為分布式完成的時不同的任務,而集群完成的時同樣的任務。 比如數據庫,包括分布式數據庫服務器1/2/3甚至n個,我們可以把操作用戶的數據放在數據庫1中,把操作文章的數據放在數據庫2中等等。這就是分布式了。?
?
?系統架構演化歷程-使用NoSQL和搜索引擎
特征?:
系統引入了NoSQL數據庫以及搜索引擎。
?
描述:
?隨著業務越來越復雜,對數據存儲和檢索的需求也越來越復雜,系統需要采用一些非關系型數據庫如NoSQL和分數據庫查詢技術如搜索引擎。應用服務器通過統一數據訪問模塊訪問各種數據,減輕應用程序管理諸多數據源的麻煩。
?
?
系統架構演化歷程-業務拆分
特征:
系統上按照業務進行拆分改造,應用服務器按照業務區分進行分別部署。
?
描述:
為了應對日益復雜的業務場景,通常使用分而治之的手段將整個系統業務分成不同的產品線,應用之間通過超鏈接建立關系,也可以通過消息隊列進行數據分發,當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。
?
縱向拆分:
將一個大應用拆分為多個小應用,如果新業務較為獨立,那么就直接將其設計部署為一個獨立的Web應用系統。?縱向拆分相對較為簡單,通過梳理業務,將較少相關的業務剝離即可。
?
橫向拆分:
將復用的業務拆分出來,獨立部署為分布式服務,新增業務只需要調用這些分布式服務
橫向拆分需要識別可復用的業務,設計服務接口,規范服務依賴關系。
?
?
系統架構演化歷程-分布式服務
特征:
公共的應用模塊被提取出來,部署在分布式服務器上供應用服務器調用。
?
描述:
隨著業務越拆越小,應用系統整體復雜程度呈指數級上升,由于所有應用要和所有數據庫系統連接,最終導致數據庫連接資源不足,拒絕服務。
?
Q:分布式服務應用會面臨哪些問題?A:
(1) 當服務越來越多時,服務URL配置管理變得非常困難,F5硬件負載均衡器的單點壓力也越來越大。
(2) 當進一步發展,服務間依賴關系變得錯蹤復雜,甚至分不清哪個應用要在哪個應用之前啟動,架構師都不能完整的描述應用的架構關系。
(3) 接著,服務的調用量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什么時候該加機器?
(4) 服務多了,溝通成本也開始上升,調某個服務失敗該找誰?服務的參數都有什么約定??
(5) 一個服務有多個業務消費者,如何確保服務質量?
(6) 隨著服務的不停升級,總有些意想不到的事發生,比如cache寫錯了導致內存溢出,故障不可避免,每次核心服務一掛,影響一大片,人心慌慌,如何控制故障的影響面?服務是否可以功能降級?或者資源劣化?
Java分布式應用技術基礎
分布式服務下的關鍵技術:消息隊列架構
?
消息對列通過消息對象分解系統耦合性,不同子系統處理同一個消息
?
?
?分布式服務下的關鍵技術:消息隊列原理
?
?
分布式服務下的關鍵技術:服務框架架構
?
?
Q:Dubbo到底是神馬?
轉載于:https://www.cnblogs.com/cosyer/p/7517414.html
總結
以上是生活随笔為你收集整理的分布式服务下的关键技术(转)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: OpenGL® ES 3.0 Progr
- 下一篇: 5.03 列出表的索引