2019獨角獸企業重金招聘Python工程師標準>>>

1. 如何理解“分布式”？

? ? ?經常聽到”分布式系統“，”分布式計算“，”分布式算法“。分布式的具體含義是什么？狹義的分布是指，指多臺PC在地理位置上分布在不同的地方。

2. 分布式系統

? ??分布式系統：多個能獨立運行的計算機（稱為結點）組成。各個結點利用計算機網絡進行信息傳遞，從而實現共同的“目標或者任務”。

? ??分布式程序：?運行在分布式系統上的計算機程序。

? ??分布式計算：利用分布式系統解決來計算問題。在分布式計算里，一個問題被細化成多個任務，每個任務可以被一個或者多個計算機來完成。

? ? 區分分布式計算和并行計算：共同點都是大任務劃分為小任務。不同點：?分布式計算：基于多臺PC，每臺PC完成同一任務中的不同部分。分布式的計算被分解后的小任務互相之間有獨立性，節點之間的結果幾乎不互相影響，實時性要求不高。并行計算：基于同一個臺PC，利用CPU的多核共同完成一個任務。

1）分布式操作系統

? ? ? 分布式操作系統：負責管理分布式處理系統資源和控制分布式程序運行。它和集中式操作系統的區別在于資源管理、進程通信和系統結構等方面。

2）分布式文件系統

? ??? ?分布式文件系統具有執行遠程文件存取的能力,并以透明方式對分布在網絡上的文件進行管理和存取。

3）分布式程序設計和編譯解釋系統

? ??? 分布式程序設計語言用于編寫運行于分布式計算機系統上的分布式程序。一個分布式程序由若干個可以獨立執行的程序模塊組成,它們分布于一個分布式處理系統的多臺計算機上被同時執行。它與集中式的程序設計語言相比有三個特點：分布性、通信性和穩健性。

? ? ?分層應用程序可以按層數進行劃分，信息可以從數據層(通常存儲在數據庫)傳送到表現層(顯示在客戶端上)。通常每層相對于其他層來說都運行在不同的系統中，或者在同一系統中的不同進程空間里。分層好處：減小整個應用程序的復雜性；使應用程序能夠更好的擴展，跟得上企業發展的需要。?

• ? ??? ?兩層應用程序：?典型的結構，一個客戶端的用戶PC機(前端)；一個包含數據庫的網絡服務器(后端)。邏輯上根據兩者的物理位置劃分。通常客戶端包含大部分業務邏輯，隨著數據庫及存儲過程的發展，SQL語言允許業務邏輯在數據庫服務器中存儲并執行。?
• ? ? ???三層應用程序：目前最常用的是三層應用程序結構，包含一個用戶服務層(表現層)，一個業務服務層和一個數據服務層。業務邏輯層從用戶界面和數據源中分離出來。?由于兩層應用程序即客戶端/服務器端結構的功能限制，分布式應用程序通常分為三層或者更多層。每層的組件都執行一個特定類型的處理。

3）分布式數據庫

之我見：分布式數據庫，由分布在不同地方（地理位置上的分布）的多個數據庫（稱為站點）連接（基于計算機網絡來連接）而成。利用分布式DBMS對各個站點統一管理，各個站點邏輯上統一起來。基于數據分布的透明性，仿佛在管理單個站點上的數據。其優點在于：容錯，提高訪問速度。

wiki官方解釋：?分布式數據庫是用計算機網絡將物理上分散的多個數據庫單元連接起來組成的一個邏輯上統一的數據庫。每個被連接起來的數據庫單元稱為站點或結點。分布式數據庫有一個統一的數據庫管理系統來進行管理，稱為分布式數據庫管理系統。

?分布式數據庫的基本特點包括：物理分布性、邏輯整體性和站點自治性。從這三個基本特點還可以導出的其它特點有：數據分布透明性、集中與自治相結合的控制機制、適當的數據冗余度和事務管理的分布性。分布式數據庫按照各站點中數據庫管理系統的數據模型的異同分為異構型分布式數據庫和同構型分布式數據庫，按照控制系統的類型分為全局控制集中性、全局控制分散型和全局控制可變型

3. Hadoop , HDFS, HBase, Hive

之我見：??

? ? ?Hadoop是一個分布式系統基礎框架，基于這個框架開發分布式應用程序，利用集群的高速運算和存儲的威力。類似于，基于NVIDIA 的 CUDA并行架構開發并行程序，發揮GPU的并行計算能力。
? ? ?HDFS是Hadoop的文件系統。基于HDFS，你可以對文件進行操作，例如新建，刪除，編輯，重命名等。
? ? ?HBase: 基于Hadoop架構的數據庫系統。不是關系型數據庫，基于列的模式。
? ? ?Hive: 基于HBase的高層語言。類似于SQL --- 訪問和處理關系型數據庫的計算機語言。

官方解釋：

? ? ? Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。

? ? ? ?HDFS（Hadoop Distributed File System）是Hadoop實現的一個分布式文件系統。它存儲 Hadoop 集群中所有存儲節點上的文件。對外部客戶機而言，HDFS 就像一個傳統的分級文件系統。可以創建、刪除、移動或重命名文件，等等。但是 HDFS 的架構是基于一組特定的節點構建的，存儲在 HDFS 中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。這與傳統的 RAID 架構大不相同。塊的大小（通常為 64MB）和復制的塊數量在創建文件時由客戶機決定。NameNode 可以控制所有文件操作。HDFS 內部的所有通信都基于標準的 TCP/IP 協議。

? ? ? ? HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。Hadoop HDFS為HBase提供了高可靠性的底層存儲支持，Hadoop MapReduce為HBase提供了高性能的計算能力，Zookeeper為HBase提供了穩定服務和failover機制。此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS數據導入功能，使得傳統數據庫數據向HBase中遷移變的非常方便。HBase的數據模型和存儲結構，參考?http://www.searchtb.com/2011/01/understanding-hbase.html

? ? ? ? Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件（例如xml）映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。

轉載于:https://my.oschina.net/moooofly/blog/115070

總結

以上是生活随笔為你收集整理的【转载】分布式系统的理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。