《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》

基本信息

作者： 彭淵???

叢書名： 大數(shù)據(jù)技術(shù)叢書

出版社：機(jī)械工業(yè)出版社

ISBN：9787111455035

上架時(shí)間：2014-2-21

出版日期：2014 年2月

開本：16開

頁碼：1

版次：1-1

所屬分類：計(jì)算機(jī) > 操作系統(tǒng) > 操作系統(tǒng)理論 > 分布式操作系統(tǒng)

?

更多關(guān)于》》》《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》

?

內(nèi)容簡介

??? 書籍

??? 計(jì)算機(jī)書籍

　　《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》是作者從程序員到首席架構(gòu)師十多年職業(yè)生涯的實(shí)戰(zhàn)經(jīng)驗(yàn)總結(jié)，系統(tǒng)講解構(gòu)建大規(guī)模分布式系統(tǒng)的核心技術(shù)與實(shí)現(xiàn)方法，包含作者開源的fourinone系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過程，手把手教你掌握分布式技術(shù)。通過學(xué)習(xí)這個(gè)系統(tǒng)的實(shí)現(xiàn)方法與相關(guān)的理論，讀者可快速掌握分布式系統(tǒng)的理論并設(shè)計(jì)自己的分布式系統(tǒng)。

　　《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》從分布式計(jì)算的基本概念開始，解剖了眾多流行概念的本質(zhì)，深入講解分布式系統(tǒng)的基本原理與實(shí)現(xiàn)方式，包括master-slave結(jié)構(gòu)、消息中樞模式、網(wǎng)狀直接交互模式、并行結(jié)合串行模式等，以及fourinone系統(tǒng)的架構(gòu)、實(shí)現(xiàn)分布式功能的示例。接下來詳細(xì)介紹分布式協(xié)調(diào)、分布式緩存、消息隊(duì)列、分布式文件系統(tǒng)、分布式作業(yè)調(diào)度平臺的設(shè)計(jì)與實(shí)現(xiàn)方法，不僅包括詳細(xì)的架構(gòu)原理、算法，還給出了實(shí)現(xiàn)步驟、核心api、實(shí)現(xiàn)代碼。隨書附帶的光盤包括書中示例代碼以及fourinone系統(tǒng)源代碼。

?

?

目錄

《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》

前　言

第1章 概述 1

1.1 分布式計(jì)算、并行計(jì)算、云計(jì)算概述 1

1.2 分布式產(chǎn)品hadoop、zookeeper、hbase概述 6

1.3 fourinone的產(chǎn)生背景 12

第2章 分布式并行計(jì)算的原理與實(shí)踐 14

2.1 分布式并行計(jì)算模式 14

2.1.1 最初想到的master-slave結(jié)構(gòu) 14

2.1.2 “包工頭-職介所-手工倉庫-工人”模式 15

2.1.3 基于消息中樞的計(jì)算模式 17

2.1.4 基于網(wǎng)狀直接交互的計(jì)算模式 18

2.1.5 并行結(jié)合串行模式 22

2.1.6 包工頭內(nèi)部批量多階段處理模式 23

2.1.7 計(jì)算集群模式和兼容遺留計(jì)算系統(tǒng) 24

2.1.8 工人計(jì)算的服務(wù)化模式 26

2.2 跟hadoop的區(qū)別 28

2.3 關(guān)于分布式的一些概念與產(chǎn)品 30

2.4 配置文件和核心api介紹 35

2.5 實(shí)踐與應(yīng)用 36

2.5.1 一個(gè)簡單的示例 36

2.5.2 工頭工人計(jì)算模式更完整的示例 39

2.5.3 工人合并互相say hello的示例 44

2.5.4 實(shí)現(xiàn)hadoop經(jīng)典實(shí)例word count 48

2.5.5 分布式多機(jī)部署的示例 52

2.5.6 分布式計(jì)算自動部署的示例 53

2.5.7 計(jì)算過程中的故障和容災(zāi)處理 57

2.5.8 計(jì)算過程中的相關(guān)時(shí)間屬性設(shè)置 60

2.5.9 如何在一臺計(jì)算機(jī)上一次性啟動多個(gè)進(jìn)程 63

2.5.10 如何調(diào)用c/c++程序?qū)崿F(xiàn) 68

2.5.11 如何中止工人計(jì)算和超時(shí)中止 68

2.5.12 使用并行計(jì)算大幅提升遞歸算法效率 73

2.5.13 使用并行計(jì)算求圓周率π 81

2.5.14 從賭錢游戲看pagerank算法 86

2.5.15 使用并行計(jì)算實(shí)現(xiàn)上億排序 96

2.5.16 工人服務(wù)化模式應(yīng)用示例 104

2.6 實(shí)時(shí)流計(jì)算 107

第3章 分布式協(xié)調(diào)的實(shí)現(xiàn) 111

3.1 協(xié)調(diào)架構(gòu)原理簡介 111

3.2 核心api 113

3.3 權(quán)限機(jī)制 115

3.4 相對于zookeeper的區(qū)別 116

3.5 與paxos算法的區(qū)別 117

3.6 實(shí)踐與應(yīng)用 119

3.6.1 如何實(shí)現(xiàn)公共配置管理 119

3.6.2 如何實(shí)現(xiàn)分布式鎖 126

3.6.3 如何實(shí)現(xiàn)集群管理 129

3.6.4 多節(jié)點(diǎn)權(quán)限操作示例 134

3.6.5 領(lǐng)導(dǎo)者選舉相關(guān)屬性設(shè)置 137

第4章 分布式緩存的實(shí)現(xiàn) 139

4.1 小型網(wǎng)站或企業(yè)應(yīng)用的緩存實(shí)現(xiàn)架構(gòu) 139

4.2 大型分布式緩存系統(tǒng)實(shí)現(xiàn)過程 140

4.3 一致性哈希算法的原理、改進(jìn)和實(shí)現(xiàn) 147

4.4 解決任意擴(kuò)容的問題 152

4.5 解決擴(kuò)容后數(shù)據(jù)均勻的問題 153

4.6 分布式session的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn) 154

4.7 緩存容量的相關(guān)屬性設(shè)置 156

4.8 緩存清空的相關(guān)屬性設(shè)置 158

第5章 消息隊(duì)列的實(shí)現(xiàn) 162

5.1 閑話中間件與mq 162

5.2 jms的兩種經(jīng)典模式 163

5.3 如何實(shí)現(xiàn)發(fā)送接收的隊(duì)列模式 164

5.4 如何實(shí)現(xiàn)主題訂閱模式 168

第6章 分布式文件系統(tǒng)的實(shí)現(xiàn) 173

6.1 fttp架構(gòu)原理解析 174

6.2 搭建配置fttpadapter環(huán)境 177

6.3 訪問集群文件根目錄 179

6.4 訪問和操作遠(yuǎn)程文件 181

6.5 集群內(nèi)文件復(fù)制和并行復(fù)制 184

6.6 讀寫遠(yuǎn)程文件 187

6.7 解析遠(yuǎn)程文件 189

6.8 并行讀寫遠(yuǎn)程文件 191

6.9 批量并行讀寫遠(yuǎn)程文件和事務(wù)補(bǔ)償處理 194

6.10 如何進(jìn)行整型讀寫 198

6.11 基于整型讀寫的上億排序 205

第7章 分布式作業(yè)調(diào)度平臺的實(shí)現(xiàn) 219

7.1 調(diào)度平臺的設(shè)計(jì)與實(shí)現(xiàn) 219

7.2 資源隔離的實(shí)現(xiàn) 224

7.3 資源調(diào)度算法 226

7.4 其他作業(yè)調(diào)度平臺簡介 227

7.4.1 其他mpi作業(yè)資源調(diào)度技術(shù) 227

7.4.2 mesos和yarn簡介 229

?

本圖書信息來源：互動出版網(wǎng)

?

總結(jié)

以上是生活随笔為你收集整理的《大规模分布式系统架构与设计实战》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。