Java 技术栈
JAVA是一個(gè)面向?qū)ο蟮木幊陶Z言，由SUN公司的程序員所開發(fā)、它不僅吸收了C++的各種優(yōu)點(diǎn)，而且還撇棄了C++中難以理解的概念，如多繼承、指針等；因此JAVA語言具有功能強(qiáng)大且簡(jiǎn)單易用兩個(gè)特征， JAVA作為靜態(tài)面向?qū)ο笳Z言的代表，是全世界最受歡迎的計(jì)算機(jī)語言
Java包含四個(gè)獨(dú)立卻又彼此相關(guān)的技術(shù)
1. JVM，Java的虛擬機(jī)，在JVM上運(yùn)行Java的bytecode（字節(jié)碼）
2. Java的程序編程語言
3. Java Class，Java的類文件格式；其決定Java程序編譯出的字節(jié)碼應(yīng)該遵循那些規(guī)范等
4. JAVA的應(yīng)用程序接口（Java API）；為了能讓Java的應(yīng)用程序得到更快更高效的開發(fā)，Java官方提供了Java API
Java展示的文件通常都是Java類的文件格式，而Java的源程序要轉(zhuǎn)換成字節(jié)碼才能在JVM上運(yùn)行
一般Java的程序代碼從寫到運(yùn)行要經(jīng)過以下幾個(gè)步驟：
1. Java程序語言+Java API
2. X.java源程序經(jīng)過編譯器編譯為Java的類文件如X.class（Java的類文件就是Java的字節(jié)碼）
3. 在JVM中，class loader（類加載器）加載X.class類文件，然后由解釋器將X.calss文件由字節(jié)碼格式解釋成對(duì)應(yīng)的OS平臺(tái)二進(jìn)制程序，這樣Java程序就可以再JVM上運(yùn)行了
注：.class文件就是字節(jié)碼，但字節(jié)碼不能直接運(yùn)行，仍需在JVM中由解釋器解釋成對(duì)應(yīng)的OS二進(jìn)制程序，才能運(yùn)行（機(jī)器只能理解二進(jìn)制）
<img src="https://pic4.zhimg.com/50/v2-264394b3662d65ae6aae58acad9dd86f_hd.jpg" data-rawwidth="428" data-rawheight="420" class="origin_image zh-lightbox-thumb" width="428" data-original="https://pic4.zhimg.com/v2-264394b3662d65ae6aae58acad9dd86f_r.jpg">
JVM進(jìn)行解釋的實(shí)現(xiàn)方式：
1. 一次性解釋器，解釋字節(jié)碼并執(zhí)行，但第二次執(zhí)行需要重新解釋字節(jié)碼
2. 即時(shí)編譯器，解釋完的類（字節(jié)碼）會(huì)緩存再內(nèi)存中，讓下次執(zhí)行時(shí)直接使用，不用再次執(zhí)行，但這樣對(duì)所有解釋產(chǎn)生的二進(jìn)制程序都緩存會(huì)非常占用內(nèi)存
3. 自適應(yīng)解釋器，只將執(zhí)行頻率高的代碼進(jìn)行解釋然后將解釋后的二進(jìn)制程序進(jìn)行緩存，下次執(zhí)行無需解釋，一般只緩存20%的代碼解釋（認(rèn)為這20%的代碼完成了80%的操作）
下面是JAVA的執(zhí)行過程
<img src="https://pic1.zhimg.com/50/v2-1d63578ecf907a6b1d897913799cddba_hd.jpg" data-rawwidth="690" data-rawheight="441" class="origin_image zh-lightbox-thumb" width="690" data-original="https://pic1.zhimg.com/v2-1d63578ecf907a6b1d897913799cddba_r.jpg">
JVM（Java Virtual Machine）即Java虛擬機(jī)，是一種用于計(jì)算設(shè)備的規(guī)范，也是Java的核心和基礎(chǔ)，是Java解釋器和OS平臺(tái)之間的虛擬處理器，它是一種基于下層的操作系統(tǒng)和硬件平臺(tái)利用軟件方法抽象出的計(jì)算機(jī)。可以在 上面執(zhí)行Java的字節(jié)碼程序，正是因?yàn)镴VM的存在Java才實(shí)現(xiàn)了一次編譯到處運(yùn)行，可實(shí)現(xiàn)完全跨平臺(tái)的運(yùn)行。
Java的編譯器只需面向JVM，生成JVM能理解的字節(jié)碼文件，然后由JVM將每一條指令翻譯成為不同平臺(tái)的機(jī)器代碼（二進(jìn)制程序），然后既可以在對(duì)應(yīng)的平臺(tái)執(zhí)行。
<img src="https://pic2.zhimg.com/50/v2-bcca04904a557cd9eaf88a68d4eb008a_hd.jpg" data-rawwidth="440" data-rawheight="361" class="origin_image zh-lightbox-thumb" width="440" data-original="https://pic2.zhimg.com/v2-bcca04904a557cd9eaf88a68d4eb008a_r.jpg">
Java平臺(tái)由Java虛擬機(jī)（Java Virtual Machine，簡(jiǎn)稱JVM）和Java 應(yīng)用編程接口（Application Programming Interface，簡(jiǎn)稱API）構(gòu)成。Java應(yīng)用編程接口為此提供了一個(gè)獨(dú)立于操作系統(tǒng)的標(biāo)準(zhǔn)接口，可分為基本部分和擴(kuò)展部分。在硬件或操作系統(tǒng)平臺(tái)上安裝一個(gè)Java平臺(tái)之后，Java應(yīng)用程序就可運(yùn)行。Java平臺(tái)已經(jīng)嵌入了幾乎所有的操作系統(tǒng)。這樣Java程序可以只編譯一次，就可以在各種系統(tǒng)中運(yùn)行。Java應(yīng)用編程接口已經(jīng)從1.1x版發(fā)展到1.2版。常用的Java平臺(tái)基于Java1.5，最近版本為Java7.0。
JRE （Java running Environment）Java的運(yùn)行環(huán)境：JRE可以讓編譯好的類（字節(jié)碼）運(yùn)行起來，是讓Java運(yùn)行起來的最小環(huán)境。簡(jiǎn)單來說JRE=JVM+API（不包括與開發(fā)有關(guān)的API）
JDK （Java Development Kit）是Java語言的軟件開發(fā)工具包，是實(shí)現(xiàn)Java語言開發(fā)并讓其運(yùn)行的最小環(huán)境。簡(jiǎn)單來說JDK=Java語言+API+編譯器+JVM
依據(jù)Java應(yīng)用領(lǐng)域的不同，JDK有以下幾種分類：
? Java SE(J2SE)，standard edition，標(biāo)準(zhǔn)版，是我們通常用的一個(gè)版本，從JDK 5.0開始，改名為Java SE。
? Java EE(J2EE)，enterprise edition，企業(yè)版，使用這種JDK開發(fā)J2EE應(yīng)用程序，從JDK 5.0開始，改名為Java EE。
? Java ME(J2ME)，micro edition，主要用于移動(dòng)設(shè)備、嵌入式設(shè)備上的java應(yīng)用程序，從JDK 5.0開始，改名為Java ME。
沒有JDK的話，無法編譯Java程序，如果想只運(yùn)行Java程序，要確保已安裝相應(yīng)的JRE。
下面來講Java兩個(gè)特殊的類Applet和Servlet
Applet是采用Java編程語言編寫的，經(jīng)過編譯后Applet小程序可以嵌入到HTML中去（含有Applet的網(wǎng)頁的HTML文件代碼中部帶有<applet> 和</applet>這樣一對(duì)標(biāo)記），然后client端的瀏覽器中只要安裝JRE插件就可以在client端運(yùn)行這個(gè)Apple應(yīng)用小程序，并將結(jié)果顯示在client上，這便是客戶端動(dòng)態(tài)網(wǎng)站
但是客戶端動(dòng)態(tài)網(wǎng)站有一很危險(xiǎn)的地方，那就是如果有人給你往HTML網(wǎng)頁中嵌入的是一個(gè)有害的applet程序，你在client一執(zhí)行會(huì)對(duì)你的電腦造成破壞，而且applet的執(zhí)行必須在client端安裝有JRE,所以applet現(xiàn)在已經(jīng)很少見了
HTML文件中關(guān)于Applet的信息至少應(yīng)包含以下三點(diǎn)：
1)字節(jié)碼文件名(編譯后的Java文件，以.class為后綴)
2)字節(jié)碼文件的地址
3)在網(wǎng)頁上顯示Applet的方式。
Servlet（Server Applplet)是用Java編寫的服務(wù)器端程序，其主要功能為交互式的瀏覽和修改數(shù)據(jù)，生成動(dòng)態(tài)的Web資源；Servlet可以讓Java語言依據(jù)類似的CGI（common gateway interface）技術(shù)開發(fā)運(yùn)行在服務(wù)器端的動(dòng)態(tài)web資源，但在通信量大的服務(wù)器上，Java Servlet 的優(yōu)點(diǎn)在于它們的執(zhí)行速度更快于 CGI 程序。各個(gè)用戶請(qǐng)求被激活成單個(gè)程序中的一個(gè)線程，而無需創(chuàng)建單獨(dú)的進(jìn)程，這意味著服務(wù)器端處理請(qǐng)求的系統(tǒng)開銷將明顯降低。
Servlet 的主要功能在于交互式地瀏覽和修改數(shù)據(jù)，生成動(dòng)態(tài) Web 內(nèi)容。這個(gè)過程為：
1.客戶端發(fā)送請(qǐng)求至服務(wù)器端；
2.服務(wù)器將請(qǐng)求信息發(fā)送至 Servlet；
3.Servlet 生成響應(yīng)內(nèi)容并將其傳給服務(wù)器。響應(yīng)內(nèi)容動(dòng)態(tài)生成，通常取決于客戶端的請(qǐng)求；
4.服務(wù)器將響應(yīng)返回給客戶端。
JSP（Java Server Page）Java的服務(wù)器頁面，它是Servlet的一個(gè)特殊的類，在根本上是一個(gè)簡(jiǎn)化的Servlet設(shè)計(jì)，JSP是在傳統(tǒng)的網(wǎng)頁HTML文件（*.html或*.htm）中插入Java的程序段，從而形成了JSP文件（通常為*.jsp）；用JSP開發(fā)的web應(yīng)用是支持跨平臺(tái)的，既能在Linux上運(yùn)行，也能在其他的操作系統(tǒng)上運(yùn)行,開發(fā)JSP程序的一個(gè)著名框架是SSH（Structs、Spring、Hebernate）
JSP實(shí)現(xiàn)了Html語法中的java擴(kuò)展（以 <%, %>形式）。JSP與Servlet一樣，是在服務(wù)器端執(zhí)行的。通常返回給客戶端的就是一個(gè)HTML文本，因此客戶端只要有瀏覽器就能瀏覽（Applet要在client上裝JRE）。
注：Applet只是將一個(gè)編譯后的Applet小程序嵌入到HTML中然后發(fā)送到client，在client端依據(jù)JRE運(yùn)行。
Servlet主要是實(shí)現(xiàn)了用Java語言開發(fā)運(yùn)行在server端的Web動(dòng)態(tài)資源；而這些依據(jù)Java語言開發(fā)的web動(dòng)態(tài)資源大多數(shù)都是.jsp資源。
JSP是一種腳本語言，主要實(shí)現(xiàn)了將JAVA代碼嵌入到HTML中（這也是JSP和Servlet的最主要區(qū)別），從而生成了.jsp類的web動(dòng)態(tài)資源，從而實(shí)現(xiàn)了基于Java技術(shù)的動(dòng)態(tài)網(wǎng)站開發(fā)。
JSP的運(yùn)行性能要比PHP好，所以一些大型站點(diǎn)都用JSP開發(fā)，.jsp程序執(zhí)行流程如下
1. .jsp由Jasper處理未.java源程序
2. .java由編譯器編譯為.class
3. .class類在jvm上進(jìn)行加載解釋并運(yùn)行
JSP 的運(yùn)程過程
一個(gè)JSP頁面有多個(gè)客戶訪問，下面是第一個(gè)客戶訪問JSP頁面時(shí)候，JSP頁面的執(zhí)行流程：
客戶通過瀏覽器向服務(wù)器端的JSP頁面發(fā)送請(qǐng)求
? JSP引擎檢查JSP文件對(duì)應(yīng)的Servlet源代碼是否存在，若不存在轉(zhuǎn)向第4步，否則執(zhí)行下一步
? JSP引擎檢查JSP頁面是否需要修改，若沒修改，轉(zhuǎn)向第5步，否則執(zhí)行下一步
? JSP引擎將JSP頁面文件轉(zhuǎn)譯為Servlet源代碼（相應(yīng)的 .java 代碼）
? JSP引擎將Servlet源代碼編譯為相應(yīng)字節(jié)碼（ .class代碼 ）
? JSP引擎加載字節(jié)碼到內(nèi)存
? 字節(jié)碼處理客戶請(qǐng)求，并將結(jié)果返回給客戶
<img src="https://pic3.zhimg.com/50/v2-0ae7196e240b3b0f2e062daaa3f16d5c_hd.jpg" data-rawwidth="623" data-rawheight="455" class="origin_image zh-lightbox-thumb" width="623" data-original="https://pic3.zhimg.com/v2-0ae7196e240b3b0f2e062daaa3f16d5c_r.jpg">
在不修改JSP頁面的情況下，除了第一個(gè)客戶訪問JSP頁面需要經(jīng)過以上幾個(gè)步驟外，以后訪問該JSP頁面的客戶請(qǐng)求，直接發(fā)送給JSP對(duì)應(yīng)的字節(jié)碼程序處理，并將處理結(jié)果返回給客戶，這種情況下，JSP頁面既不需要啟動(dòng)服務(wù)器，以便重新加載修改后的JSP頁面。
CGI（Common Gateway Interface）通用網(wǎng)關(guān)接口，CGI是外部應(yīng)用程序（CGI程序）和Web服務(wù)器之間的接口標(biāo)準(zhǔn)（也可以理解為一種協(xié)議或機(jī)制），是在CGI程序和Web服務(wù)器之間傳遞信息的過程；CGI可以讓一個(gè)客戶端，從網(wǎng)頁瀏覽器向執(zhí)行在網(wǎng)絡(luò)服務(wù)器上的程序傳輸數(shù)據(jù)CGI描述了客戶端和服務(wù)器之間傳輸?shù)囊环N標(biāo)準(zhǔn)
下面列子可以理解CGI的作用
客戶端請(qǐng)求服務(wù)器，web服務(wù)器響應(yīng)一個(gè)HTML靜態(tài)的表單，而用戶填寫完表單后又將此表單交給了web服務(wù)器（相當(dāng)于又一次http請(qǐng)求），web服務(wù)器收到client端填寫的表單后會(huì)以CGI協(xié)議的方式提交給后端的應(yīng)用程序讓其處理
很多應(yīng)用程序都可以傳遞參數(shù)，CGI可以讓用戶通過表單提供一些數(shù)據(jù)，然后把這些數(shù)據(jù)當(dāng)做參數(shù)傳遞給相應(yīng)的后端應(yīng)用程序（如PHP）讓程序?qū)ζ浼庸ぬ幚恚ú贿^后端應(yīng)用程序是PHP、C、C++甚至是一個(gè)腳本CGI都可以與其交互）讓后端程序或腳本來處理數(shù)據(jù)，處理完后，后端程序再次通過CGI機(jī)制返回給前段的web服務(wù)器（httpd/Nginx）再由web服務(wù)器將結(jié)果封裝響應(yīng)給客戶端
在LAMP和LNMP架構(gòu)中PHP與前段Apache/Nginx之間就是通過CGI機(jī)制結(jié)合的，用于將客戶端的動(dòng)態(tài)請(qǐng)求（主要為php的動(dòng)態(tài)資源請(qǐng)求）從前端web_server傳遞到后端的PHP，讓PHP處理。
Servlet Container（Servlet容器）：包含JDK及JDK所不具備的功能，可以讓一個(gè)Servlet運(yùn)行起來，有相應(yīng)的Servlet進(jìn)程，Servlet進(jìn)程負(fù)責(zé)接收前端CGI傳遞來的請(qǐng)求，并在本地的JVM上運(yùn)行處理，并且負(fù)責(zé)監(jiān)控本地的.java程序是否發(fā)生了修改，一旦發(fā)生修改則重新讓編譯器（由JDK提供）編譯成.class類
Web Container （Web容器）是一個(gè)包含Jasper和Servlet相關(guān)的技術(shù)的框架，其中Jasper負(fù)責(zé)監(jiān)控本地的.jsp程序是否發(fā)生修改，一旦修改就根據(jù)需求將其裝換為.java源代碼，而.java就交給Servlet處理
注：Web Container比Servlet Container多了一個(gè)Jasper
而現(xiàn)在很多的Web容器都可以直接和用戶的請(qǐng)求直接進(jìn)行交互（即前端沒有web server解碼http請(qǐng)求和封裝http響應(yīng)）web容器可以完全依靠自己的組件（對(duì)Tomcat來說為web container的連接器）實(shí)現(xiàn)直接與client進(jìn)行交互。但是讓連接器直接面對(duì)用戶的請(qǐng)求，可能會(huì)造成壓力過大處理不過來的情況（如果連接器的性能不是很好），所以一般會(huì)在前端加一個(gè)web代理（如Nginx），讓Nginx建立、維持、釋放用戶的請(qǐng)求和連接，而當(dāng)用戶的請(qǐng)求資源在前端web server（Nginx）上沒有緩存時(shí)，再由Nginx將請(qǐng)求轉(zhuǎn)發(fā)到后端web Container（如Tomcat）處理。而對(duì)應(yīng)的這種架構(gòu)叫：
Nginx + Java的Web Container（有時(shí)也成為應(yīng)用程序服務(wù)器）
但無論是Web Container還是Servlet Container或者是JDK都是在JVM中運(yùn)行的，Web Container|Servlet Container|JDK真正啟動(dòng)后再OS中表現(xiàn)的都是一個(gè)JVM進(jìn)程（JVM實(shí)例），即在JVM中如果你是一個(gè)Web Containter它就有Web Container的功能，是JDK就有JDK的功能，負(fù)責(zé)只有JVM自身的功能
JVM實(shí)例可以在同一個(gè)JVM實(shí)例中啟動(dòng)多個(gè)線程，從而完成并發(fā)響應(yīng)，JVM中還包括：
線程私有內(nèi)存區(qū)
1. 程序計(jì)數(shù)器
2. Java虛擬機(jī)棧（主要用來保存本地變量）
線程共享內(nèi)存區(qū)
1. 方法區(qū)
2. 堆（堆占用的內(nèi)存最大）主要用來存儲(chǔ)對(duì)象，當(dāng)計(jì)數(shù)器為0時(shí)就認(rèn)為對(duì)象已死，然后由GC（Garbage Collector）進(jìn)行清除，避免堆溢出
而GC對(duì)對(duì)象的清理要依據(jù)一定的算法，有以下幾種
1. 標(biāo)記清除算法（哪個(gè)對(duì)象死了先進(jìn)行標(biāo)記，然后統(tǒng)一清除），但這種機(jī)制有個(gè)弊端就是在GC進(jìn)行垃圾清除時(shí)會(huì)讓CPU飆升，造成服務(wù)器性能忽然下降，且會(huì)產(chǎn)生大量的內(nèi)存碎片
2. 復(fù)制算法，每個(gè)對(duì)象存兩份，不會(huì)產(chǎn)生內(nèi)存碎片但是內(nèi)存使用率只有1/2
GC的種類
1. serial 一次只能回收一個(gè)對(duì)象，串行
2. parNew 一次可以回收讀個(gè)，并行回收
3. CMS（Concurrent Mark Sweet）并行標(biāo)記清除，多線程，盡可能降低清除對(duì)JVM中程序的停頓，但缺點(diǎn)是無法收集浮動(dòng)垃圾（只要線程在運(yùn)行，就不能收集）
4. G 1 特點(diǎn)是不會(huì)產(chǎn)生內(nèi)存碎片、可以定義停頓的時(shí)間
數(shù)據(jù)庫技術(shù)相關(guān)，這一部分主要講解sql，畢竟現(xiàn)有的關(guān)系型數(shù)據(jù)庫都支持sql，并且生產(chǎn)環(huán)境大部分還是使用關(guān)系型數(shù)據(jù)庫。再者總結(jié)下mysql與oracle的優(yōu)缺點(diǎn)，使用場(chǎng)景，注意事項(xiàng)。
sql基礎(chǔ)：庫、表的創(chuàng)建，修改，刪除，查詢，索引，主從表，權(quán)限，事務(wù)，運(yùn)算符，函數(shù)
常用查詢技術(shù)：多表連接，子查詢
觸發(fā)器，存儲(chǔ)過程
數(shù)據(jù)庫優(yōu)化
備份，恢復(fù)
總結(jié)完這一部分，然后在歸納寫javaweb常用的技術(shù)，包括：
web基礎(chǔ)：xml，html/css/js，jsp/serlvet，jstl/EL，json，ajax
主流框架：spring/springmvc，log4j，junit，mybatis，maven
常用服務(wù)器：tomcat
常用第三方接口：如，支付寶支付接口，充值繳費(fèi)接口等
上述內(nèi)容只是基礎(chǔ)，而且還是術(shù)的方面。我覺得要寫出優(yōu)雅，健壯，可擴(kuò)展的代碼。除了基礎(chǔ)扎實(shí)外，還需要了解，體會(huì)，感悟道的方面，比如說編程思想，規(guī)范，設(shè)計(jì)模式，軟件工程等相關(guān)的內(nèi)容。因此下一個(gè)部分就是：
常用設(shè)計(jì)模式：例如工廠、單例、代理等
修煉數(shù)據(jù)：《clean code》，《java編程思想》，《代碼重構(gòu)》，《effective java》，《敏捷技能修煉》，《think in java》
一、基礎(chǔ)篇
1.1 JVM
1.1.1. Java內(nèi)存模型，Java內(nèi)存管理，Java堆和棧，垃圾回收
1.1.2. 了解JVM各種參數(shù)及調(diào)優(yōu)
1.1.3. 學(xué)習(xí)使用Java工具
jps, jstack, jmap, jconsole, jinfo, jhat, javap, …
http://kenai.com/projects/btrace
http://www.crashub.org/
https://github.com/taobao/TProfiler
https://github.com/CSUG/HouseMD
http://wiki.cyclopsgroup.org/jmxterm
https://github.com/jlusdy/TBJMap
1.1.4. 學(xué)習(xí)Java診斷工具
http://www.eclipse.org/mat/
http://visualvm.java.net/oqlhelp.html
1.1.5. 自己編寫各種outofmemory，stackoverflow程序
HeapOutOfMemory
Young OutOfMemory
MethodArea OutOfMemory
ConstantPool OutOfMemory
DirectMemory OutOfMemory
Stack OutOfMemory
Stack OverFlow
1.1.6. 使用工具嘗試解決以下問題，并寫下總結(jié)
當(dāng)一個(gè)Java程序響應(yīng)很慢時(shí)如何查找問題
當(dāng)一個(gè)Java程序頻繁FullGC時(shí)如何解決問題，如何查看垃圾回收日志
當(dāng)一個(gè)Java應(yīng)用發(fā)生OutOfMemory時(shí)該如何解決，年輕代、年老代、永久代解決辦法不同，導(dǎo)致原因也不同
1.1.7. 參考資料
http://docs.oracle.com/javase/specs/jvms/se7/html/
http://www.cs.umd.edu/~pugh/java/memoryModel/
http://gee.cs.oswego.edu/dl/jmm/cookbook.html
1.2. Java基礎(chǔ)知識(shí)
1.2.1. 閱讀源代碼
java.lang.String
java.lang.Integer
java.lang.Long
java.lang.Enum
java.math.BigDecimal
java.lang.ThreadLocal
java.lang.ClassLoader & java.net.URLClassLoader
java.util.ArrayList & java.util.LinkedList
java.util.HashMap & java.util.LinkedHashMap & java.util.TreeMap
java.util.HashSet & java.util.LinkedHashSet & java.util.TreeSet
1.2.2. 熟悉Java中各種變量類型
1.2.3. 熟悉Java String的使用，熟悉String的各種函數(shù)
1.2.4. 熟悉Java中各種關(guān)鍵字
1.2.5. 學(xué)會(huì)使用List，Map，Stack，Queue，Set
上述數(shù)據(jù)結(jié)構(gòu)的遍歷
上述數(shù)據(jù)結(jié)構(gòu)的使用場(chǎng)景
Java實(shí)現(xiàn)對(duì)Array/List排序
java.uti.Arrays.sort()
java.util.Collections.sort()
Java實(shí)現(xiàn)對(duì)List去重
Java實(shí)現(xiàn)對(duì)List去重，并且需要保留數(shù)據(jù)原始的出現(xiàn)順序
Java實(shí)現(xiàn)最近最少使用cache，用LinkedHashMap
1.2.6. Java IO&Java NIO，并學(xué)會(huì)使用
java.io.*
java.nio.*
nio和reactor設(shè)計(jì)模式
文件編碼，字符集
1.2.7. Java反射與javassist
反射與工廠模式
java.lang.reflect.*
1.2.8. Java序列化
java.io. Serializable
什么是序列化，為什么序列化
序列化與單例模式
google序列化protobuf
1.2.9. 虛引用，弱引用，軟引用
java.lang.ref.*
實(shí)驗(yàn)這些引用的回收
1.2.10. 熟悉Java系統(tǒng)屬性
java.util.Properties
1.2.11. 熟悉Annotation用法
java.lang.annotation.*
1.2.12. JMS
javax.jms.*
1.2.13. JMX
java.lang.management.*
javax.management.*
1.2.14. 泛型和繼承，泛型和擦除
1.2.15. 自動(dòng)拆箱裝箱與字節(jié)碼
1.2.16. 實(shí)現(xiàn)Callback
1.2.17. java.lang.Void類使用
1.2.18. Java Agent，premain函數(shù)
java.lang.instrument
1.2.19. 單元測(cè)試
Junit， http://junit.org/
Jmockit， https://code.google.com/p/jmockit/
djUnit， http://works.dgic.co.jp/djunit/
1.2.20. Java實(shí)現(xiàn)通過正則表達(dá)式提取一段文本中的電子郵件，并將@替換為#輸出
java.lang.util.regex.*
1.2.21. 學(xué)習(xí)使用常用的Java工具庫
commons.lang, commons.*…
guava-libraries
netty
1.2.22. 什么是API&SPI
http://en.wikipedia.org/wiki/Application_programming_interface
http://en.wikipedia.org/wiki/Service_provider_interface
1.2.23. 參考資料
JDK src.zip 源代碼
http://openjdk.java.net/
http://commons.apache.org/
https://code.google.com/p/guava-libraries/
http://netty.io/
http://stackoverflow.com/questions/2954372/difference-between-spi-and-api
http://stackoverflow.com/questions/11404230/how-to-implement-the-api-spi-pattern-in-java
1.3. Java并發(fā)編程
1.3.1. 閱讀源代碼，并學(xué)會(huì)使用
java.lang.Thread
java.lang.Runnable
java.util.concurrent.Callable
java.util.concurrent.locks.ReentrantLock
java.util.concurrent.locks.ReentrantReadWriteLock
java.util.concurrent.atomic.Atomic*
java.util.concurrent.Semaphore
java.util.concurrent.CountDownLatch
java.util.concurrent.CyclicBarrier
java.util.concurrent.ConcurrentHashMap
java.util.concurrent.Executors
1.3.2. 學(xué)習(xí)使用線程池，自己設(shè)計(jì)線程池需要注意什么
1.3.3. 鎖
什么是鎖，鎖的種類有哪些，每種鎖有什么特點(diǎn)，適用場(chǎng)景是什么
在并發(fā)編程中鎖的意義是什么
1.3.4. synchronized的作用是什么，synchronized和lock
1.3.5. sleep和wait
1.3.6. wait和notify
1.3.7. 寫一個(gè)死鎖的程序
1.3.8. 什么是守護(hù)線程，守護(hù)線程和非守護(hù)線程的區(qū)別以及用法
1.3.9. volatile關(guān)鍵字的理解
C++ volatile關(guān)鍵字和Java volatile關(guān)鍵字
happens-before語義
編譯器指令重排和CPU指令重排
http://en.wikipedia.org/wiki/Memory_ordering
http://en.wikipedia.org/wiki/Volatile_variable
http://preshing.com/20130702/the-happens-before-relation/
1.3.10. 以下代碼是不是線程安全？為什么？如果為count加上volatile修飾是否能夠做到線程安全？你覺得該怎么做是線程安全的？
public class Sample{
private static int count =0;
public static void increment(){
count++;
}
}
1.3.11. 解釋一下下面兩段代碼的差別
// 代碼1
public class Sample {
private static int count = 0;
synchronized public static void increment() {
count++;
}
}
// 代碼2
public class Sample {
private static AtomicInteger count = new AtomicInteger(0);
public static void increment() {
count.getAndIncrement();
}
}
1.3.12. 參考資料
http://book.douban.com/subject/10484692/
http://www.intel.com/content/www/us/en/processors/architectures-software-developer-manuals.html
二、 進(jìn)階篇
2.1. Java底層知識(shí)
2.1.1. 學(xué)習(xí)了解字節(jié)碼、class文件格式
http://en.wikipedia.org/wiki/Java_class_file
http://en.wikipedia.org/wiki/Java_bytecode
http://en.wikipedia.org/wiki/Java_bytecode_instruction_listings
http://www.csg.ci.i.u-tokyo.ac.jp/~chiba/javassist/
http://asm.ow2.org/
2.1.2. 寫一個(gè)程序要求實(shí)現(xiàn)javap的功能（手工完成，不借助ASM等工具）
如Java源代碼：
public static void main(String[] args) {
int i = 0;
i += 1;
i *= 1;
System.out.println(i);
}
編譯后讀取class文件輸出以下代碼：
public static void main(java.lang.String[]);
Code:
Stack=2, Locals=2, Args_size=1
0: iconst_0
1: istore_1
2: iinc 1, 1
5: iload_1
6: iconst_1
7: imul
8: istore_1
9: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
12: iload_1
13: invokevirtual #3; //Method java/io/PrintStream.println:(I)V
16: return
LineNumberTable:
line 4: 0
line 5: 2
line 6: 5
line 7: 9
line 8: 16
2.1.3. CPU緩存，L1，L2，L3和偽共享
http://duartes.org/gustavo/blog/post/intel-cpu-caches/
http://mechanical-sympathy.blogspot.com/2011/07/false-sharing.html
2.1.4. 什么是尾遞歸
2.1.5. 熟悉位運(yùn)算
用位運(yùn)算實(shí)現(xiàn)加、減、乘、除、取余
2.1.6. 參考資料
http://book.douban.com/subject/1138768/
http://book.douban.com/subject/6522893/
http://en.wikipedia.org/wiki/Java_class_file
http://en.wikipedia.org/wiki/Java_bytecode
http://en.wikipedia.org/wiki/Java_bytecode_instruction_listings
2.2. 設(shè)計(jì)模式
2.2.1. 實(shí)現(xiàn)AOP
CGLIB和InvocationHandler的區(qū)別，http://cglib.sourceforge.net/
動(dòng)態(tài)代理模式
Javassist實(shí)現(xiàn)AOP，http://www.csg.ci.i.u-tokyo.ac.jp/~chiba/javassist/
ASM實(shí)現(xiàn)AOP，http://asm.ow2.org/
2.2.2. 使用模板方法設(shè)計(jì)模式和策略設(shè)計(jì)模式實(shí)現(xiàn)IOC
2.2.3. 不用synchronized和lock，實(shí)現(xiàn)線程安全的單例模式
2.2.4. nio和reactor設(shè)計(jì)模式
2.2.5. 參考資料
http://asm.ow2.org/
http://cglib.sourceforge.net/
2.3. 網(wǎng)絡(luò)編程知識(shí)
2.3.1. Java RMI，Socket，HttpClient
2.3.2. 用Java寫一個(gè)簡(jiǎn)單的靜態(tài)文件的HTTP服務(wù)器
實(shí)現(xiàn)客戶端緩存功能，支持返回304
實(shí)現(xiàn)可并發(fā)下載一個(gè)文件
使用線程池處理客戶端請(qǐng)求
使用nio處理客戶端請(qǐng)求
支持簡(jiǎn)單的rewrite規(guī)則
上述功能在實(shí)現(xiàn)的時(shí)候需要滿足“開閉原則”
2.3.3. 了解nginx和apache服務(wù)器的特性并搭建一個(gè)對(duì)應(yīng)的服務(wù)器
http://nginx.org/
http://httpd.apache.org/
2.3.4. 用Java實(shí)現(xiàn)FTP、SMTP協(xié)議
2.3.5. 什么是CDN？如果實(shí)現(xiàn)？DNS起到什么作用？
搭建一個(gè)DNS服務(wù)器
搭建一個(gè) Squid 或 Apache Traffic Server 服務(wù)器
http://www.squid-cache.org/
http://trafficserver.apache.org/
http://en.wikipedia.org/wiki/Domain_Name_System
2.3.6. 參考資料
http://www.ietf.org/rfc/rfc2616.txt
http://tools.ietf.org/rfc/rfc5321.txt
http://en.wikipedia.org/wiki/Open/closed_principle
2.4. 框架知識(shí)
spring，spring mvc，閱讀主要源碼
ibatis，閱讀主要源碼
用spring和ibatis搭建java server
2.5. 應(yīng)用服務(wù)器知識(shí)
熟悉使用jboss， https://www.jboss.org/overview/
熟悉使用tomcat， http://tomcat.apache.org/
熟悉使用jetty， http://www.eclipse.org/jetty/
三、 高級(jí)篇
3.1. 編譯原理知識(shí)
3.1.1. 用Java實(shí)現(xiàn)以下表達(dá)式解析并返回結(jié)果（語法和Oracle中的select sysdate-1 from dual類似）
sysdate
sysdate -1
sysdate -1/24
sysdate -1/(12*2)
3.1.2. 實(shí)現(xiàn)對(duì)一個(gè)List通過DSL篩選
QList<Map<String, Object>> mapList = new QList<Map<String, Object>>;
mapList.add({"name": "hatter test"});
mapList.add({"id": -1,"name": "hatter test"});
mapList.add({"id": 0, "name": "hatter test"});
mapList.add({"id": 1, "name": "test test"});
mapList.add({"id": 2, "name": "hatter test"});
mapList.add({"id": 3, "name": "test hatter"});
mapList.query("id is not null and id > 0 and name like '%hatter%'");
要求返回列表中匹配的對(duì)象，即最后兩個(gè)對(duì)象；
3.1.3. 用Java實(shí)現(xiàn)以下程序（語法和變量作用域處理都和JavaScript類似）：
代碼：
var a = 1;
var b = 2;
var c = function() {
var a = 3;
println(a);
println(b);
};
c();
println(a);
println(b);
輸出：
3212
3.1.4. 參考資料
http://en.wikipedia.org/wiki/Abstract_syntax_tree
https://javacc.java.net/
http://www.antlr.org/
3.2. 操作系統(tǒng)知識(shí)
Ubuntu
Centos
使用linux，熟悉shell腳本
3.3. 數(shù)據(jù)存儲(chǔ)知識(shí)
3.3.1. 關(guān)系型數(shù)據(jù)庫
MySQL
如何看執(zhí)行計(jì)劃
如何搭建MySQL主備
binlog是什么
Derby，H2，PostgreSQL
SQLite
3.3.2. NoSQL
Cache
Redis
Memcached
Leveldb
Bigtable
HBase
Cassandra
Mongodb
圖數(shù)據(jù)庫
neo4j
3.3.3. 參考資料
http://db-engines.com/en/ranking
http://redis.io/
https://code.google.com/p/leveldb/
http://hbase.apache.org/
http://cassandra.apache.org/
http://www.mongodb.org/
http://www.neo4j.org/
3.4. 大數(shù)據(jù)知識(shí)
3.4.1. Zookeeper，在linux上部署zk
3.4.2. Solr，Lucene，ElasticSearch
在linux上部署solr，solrcloud，新增、刪除、查詢索引
3.4.3. Storm，流式計(jì)算，了解Spark，S4
在linux上部署storm，用zookeeper做協(xié)調(diào)，運(yùn)行storm hello world，local和remote模式運(yùn)行調(diào)試storm topology。
3.4.4. Hadoop，離線計(jì)算
Hdfs：部署NameNode，SecondaryNameNode，DataNode，上傳文件、打開文件、更改文件、刪除文件
MapReduce：部署JobTracker，TaskTracker，編寫mr job
Hive：部署hive，書寫hive sql，得到結(jié)果
Presto：類hive，不過比hive快，非常值得學(xué)習(xí)
3.4.5. 分布式日志收集flume，kafka，logstash
3.4.6. 數(shù)據(jù)挖掘，mahout
3.4.7. 參考資料
http://zookeeper.apache.org/
https://lucene.apache.org/solr/
https://github.com/nathanmarz/storm/wiki
http://hadoop.apache.org/
http://prestodb.io/
http://flume.apache.org/
http://logstash.net/
http://kafka.apache.org/
http://mahout.apache.org/
3.5. 網(wǎng)絡(luò)安全知識(shí)
3.5.1. 什么是DES、AES
3.5.2. 什么是RSA、DSA
3.5.3. 什么是MD5，SHA1
3.5.4. 什么是SSL、TLS，為什么HTTPS相對(duì)比較安全
3.5.5. 什么是中間人攻擊、如果避免中間人攻擊
3.5.6. 什么是DOS、DDOS、CC攻擊
3.5.7. 什么是CSRF攻擊
3.5.8. 什么是CSS攻擊
3.5.9. 什么是SQL注入攻擊
3.5.10. 什么是Hash碰撞拒絕服務(wù)攻擊
3.5.11. 了解并學(xué)習(xí)下面幾種增強(qiáng)安全的技術(shù)
http://www.openauthentication.org/
HOTP http://www.ietf.org/rfc/rfc4226.txt
TOTP http://tools.ietf.org/rfc/rfc6238.txt
OCRA http://tools.ietf.org/rfc/rfc6287.txt
http://en.wikipedia.org/wiki/Salt_(cryptography)
3.5.12. 用openssl簽一個(gè)證書部署到apache或nginx
3.5.13. 參考資料
http://en.wikipedia.org/wiki/Cryptographic_hash_function
http://en.wikipedia.org/wiki/Block_cipher
http://en.wikipedia.org/wiki/Public-key_cryptography
http://en.wikipedia.org/wiki/Transport_Layer_Security
http://www.openssl.org/
https://code.google.com/p/google-authenticator/
四、 擴(kuò)展篇
4.1. 相關(guān)知識(shí)
4.1.1. 云計(jì)算，分布式，高可用，可擴(kuò)展
4.1.2. 虛擬化
https://linuxcontainers.org/
http://www.linux-kvm.org/page/Main_Page
http://www.xenproject.org/
https://www.docker.io/
4.1.3. 監(jiān)控
http://www.nagios.org/
http://ganglia.info/
4.1.4. 負(fù)載均衡
http://www.linuxvirtualserver.org/
4.1.5. 學(xué)習(xí)使用git
https://github.com/
https://git.oschina.net/
4.1.6. 學(xué)習(xí)使用maven
http://maven.apache.org/
4.1.7. 學(xué)習(xí)使用gradle
http://www.gradle.org/
4.1.8. 學(xué)習(xí)一個(gè)小語種語言
Groovy
Scala
LISP, Common LISP, Schema, Clojure
R
Julia
Lua
Ruby
4.1.9. 嘗試了解編碼的本質(zhì)
了解以下概念
ASCII, ISO-8859-1
GB2312, GBK, GB18030
Unicode, UTF-8
不使用 String.getBytes() 等其他工具類/函數(shù)完成下面功能
public static void main(String[] args) throws IOException {
String str = "Hello, 我們是中國人。";
byte[] utf8Bytes = toUTF8Bytes(str);
FileOutputStream fos = new FileOutputStream("f.txt");
fos.write(utf8Bytes);
fos.close();
}
public static byte[] toUTF8Bytes(String str) {
return null; // TODO
}
想一下上面的程序能不能寫一個(gè)轉(zhuǎn)GBK的？
寫個(gè)程序自動(dòng)判斷一個(gè)文件是哪種編碼
4.1.10. 嘗試了解時(shí)間的本質(zhì)
時(shí)區(qū) & 冬令時(shí)、夏令時(shí)
http://en.wikipedia.org/wiki/Time_zone
ftp://ftp.iana.org/tz/data/asia
http://zh.wikipedia.org/wiki/%E4%B8%AD%E5%9C%8B%E6%99%82%E5%8D%80
閏年， http://en.wikipedia.org/wiki/Leap_year
閏秒， ftp://ftp.iana.org/tz/data/leapseconds
System.currentTimeMillis() 返回的時(shí)間是什么
4.1.11. 參考資料
http://git-scm.com/
http://en.wikipedia.org/wiki/UTF-8
http://www.iana.org/time-zones
4.2. 擴(kuò)展學(xué)習(xí)
4.2.1. JavaScript知識(shí)
4.2.1.1. 什么是prototype
修改代碼，使程序輸出“1 3 5”： http://jsfiddle.net/Ts7Fk/
4.2.1.2. 什么是閉包
看一下這段代碼，并解釋一下為什么按Button1時(shí)沒有alert出“This is button: 1”，如何修改：
http://jsfiddle.net/FDPj3/1/
4.2.1.3. 了解并學(xué)習(xí)一個(gè)JS框架
jQuery
ExtJS
ArgularJS
4.2.1.4. 寫一個(gè)Greasemonkey插件
http://en.wikipedia.org/wiki/Greasemonkey
4.2.1.5. 學(xué)習(xí)node.js
http://nodejs.org/
4.2.2. 學(xué)習(xí)html5
ArgularJS， https://docs.angularjs.org/api
4.2.3. 參考資料
http://www.ecmascript.org/
http://jsfiddle.net/
http://jsbin.com/
http://runjs.cn/
http://userscripts.org/
五、 推薦書籍
《深入Java虛擬機(jī)》 《深入理解Java虛擬機(jī)》 《Effective Java》 《七周七語言》 《七周七數(shù)據(jù)》 《Hadoop技術(shù)內(nèi)幕》 《Hbase In Action》 《Mahout In Action》 《這就是搜索引擎》 《Solr In Action》 《深入分析Java Web技術(shù)內(nèi)幕》 《大型網(wǎng)站技術(shù)架構(gòu)》 《高性能MySQL》 《算法導(dǎo)論》 《計(jì)算機(jī)程序設(shè)計(jì)藝術(shù)》 《代碼大全》 《JavaScript權(quán)威指南》
JAVA程序員技術(shù)棧、業(yè)務(wù)棧、工具棧 目錄： 1、技術(shù)棧 2、業(yè)務(wù)棧 3、工具棧 今天是實(shí)習(xí)期以來將近100天了，感謝公司給予的期望與同事們提供的幫助。好久沒更新博客了，一是懶于寫，二是文章寫得不夠深刻、自身的知識(shí)體系還較零亂、理解不夠全面和精湛，甚至存在偏差和誤導(dǎo)，距離小目標(biāo)的實(shí)現(xiàn)之路還很遠(yuǎn)很遠(yuǎn)，現(xiàn)總結(jié)一下我自身這三個(gè)月來作為一名研發(fā)部->項(xiàng)目組->實(shí)習(xí)JAVA開發(fā)工程師用到的一些技術(shù)棧、業(yè)務(wù)棧及工具棧。 三個(gè)月來，共參與項(xiàng)目四個(gè)： 架構(gòu)管控項(xiàng)目一個(gè)； 開發(fā)維護(hù)項(xiàng)目一個(gè)； 新開發(fā)項(xiàng)目一個(gè)； 維保項(xiàng)目一個(gè)； 針對(duì)自己參與的項(xiàng)目，下面列出三個(gè)月來我涉及的一些技術(shù)棧、業(yè)務(wù)棧及工具棧概述： 1、技術(shù)棧： Java： SSM（Spring + Spring MVC + Mybatis）： Spring： Spring是一個(gè)輕量級(jí)的控制反轉(zhuǎn)（IoC）和面向切面（AOP）的容器框架； Spring MVC： Spring MVC 分離了控制器、模型對(duì)象、分派器以及處理程序?qū)ο蟮慕巧@種分離讓它們更容易進(jìn)行定制； Mybatis： MyBatis是一個(gè)基于Java的持久層框架。iBATIS提供的持久層框架包括SQL Maps和Data Access Objects（DAO）MyBatis 消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis 使用簡(jiǎn)單的 XML或注解用于配置和原始映射，將接口和 Java 的POJOs（Plain Old Java Objects，普通的 Java對(duì)象）映射成數(shù)據(jù)庫中的記錄； Java基礎(chǔ) 多線程、Future、Callable 內(nèi)部類、閉包和回調(diào) 并發(fā)、Executor Apache Commons CLI 開發(fā)命令行工具 JVM： 類加載機(jī)制； 線程安全； 垃圾回收機(jī)制——新生代、老年代、永久代，能夠?qū)π枰獔?zhí)行的程序配置相關(guān)參數(shù)； JAVA堆； HaaS：統(tǒng)一Hadoop資源池平臺(tái)，基于Hadoop等大數(shù)據(jù)技術(shù)，提供統(tǒng)一數(shù)據(jù)存儲(chǔ)、計(jì)算能力 HDFS（Hadoop Distributed File System）：海量數(shù)據(jù)存儲(chǔ) 存儲(chǔ)并管理PB級(jí)數(shù)據(jù)； 處理非結(jié)構(gòu)化數(shù)據(jù)； 注重?cái)?shù)據(jù)處理的吞吐量； 應(yīng)用模式Write_Once_Read_Many； YARN（Yet Another Resource Negotiator）：統(tǒng)一資源調(diào)度和分配 ResourceManager：負(fù)責(zé)集群資源管理和調(diào)度； ApplicationMaster：替代JobTracker負(fù)責(zé)計(jì)算任務(wù)的管理和調(diào)度； Nodemanager：替代TaskTracker負(fù)責(zé)每個(gè)節(jié)點(diǎn)上計(jì)算Task的管理和調(diào)度； MapReduce：非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的海量批處理 Map：映射，用來把一組鍵值對(duì)映射成一組新的鍵值對(duì)； Reduce：歸約，用來保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組，并進(jìn)行聚合計(jì)算； 核心思想： 利用成百上千個(gè)CPU并行處理海量數(shù)據(jù)； 移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算； Spark：分布式內(nèi)存計(jì)算框架 Spark是一種與Hadoop相似的開源集群計(jì)算環(huán)境，Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù)，能在數(shù)據(jù)尚未寫入硬盤時(shí)即在內(nèi)存內(nèi)分析運(yùn)算，而相對(duì)于傳統(tǒng)的大數(shù)據(jù)解決方案Hadoop的MapReduce會(huì)在運(yùn)行完工作后將中介數(shù)據(jù)存放在磁盤中，Spark在內(nèi)存內(nèi)運(yùn)行程序的運(yùn)算速度能做到比Hadoop MapReduce的運(yùn)算速度快上100倍； Spark Streaming：實(shí)時(shí)/準(zhǔn)實(shí)時(shí)流的計(jì)算框架 Spark Streaming將數(shù)據(jù)劃分為一個(gè)一個(gè)的數(shù)據(jù)塊（batch），每個(gè)數(shù)據(jù)塊通過微批處理的方式對(duì)數(shù)據(jù)進(jìn)行處理，在Spark Streaming中，數(shù)據(jù)處理的單位是一批而不是單條，而數(shù)據(jù)采集確是逐條進(jìn)行的，因此Spark Streaming系統(tǒng)需要設(shè)置間隔使得數(shù)據(jù)匯總到一定的量后再一并操作，這個(gè)間隔就是批處理間隔。批處理間隔是Spark Streaming的核心概念和關(guān)鍵參數(shù)，它決定了Spark Streaming提交作業(yè)的頻率和數(shù)據(jù)處理的延遲，同時(shí)也影響著數(shù)據(jù)處理的吞吐量和性能； HBase：Key/Value、半結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)和檢索 分布式的、面向列的開源數(shù)據(jù)庫； Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和故障轉(zhuǎn)移機(jī)制。這使得HBase可以用于支撐億級(jí)的海量數(shù)據(jù)存儲(chǔ)和應(yīng)用； Hive：結(jié)構(gòu)化數(shù)據(jù)的查詢和分析 Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行； Hive擅長(zhǎng)的是非實(shí)時(shí)的、離線的、對(duì)響應(yīng)實(shí)時(shí)性要求不高的海量數(shù)據(jù)即席查詢（SQL查詢）； Hive和傳統(tǒng)關(guān)系型數(shù)據(jù)庫有很大區(qū)別，Hive將外部的任務(wù)解析成一個(gè)MapReduce可執(zhí)行計(jì)劃，每次提交任務(wù)和執(zhí)行任務(wù)都需要消耗很多時(shí)間（可以換用Tez計(jì)算框架來提升性能），這也就決定Hive只能處理一些高延遲的應(yīng)用。 Zookeeper：分布式協(xié)同工具 Zookeeper是利用Paxos算法解決消息傳遞一致性的分布式服務(wù)框架； Zookeeper通過部署多臺(tái)機(jī)器，能夠?qū)崿F(xiàn)分布式的負(fù)載均衡的訪問服務(wù)。不同的Client向Zookeeper中不同機(jī)器請(qǐng)求數(shù)據(jù)； 為了實(shí)現(xiàn)集群中配置數(shù)據(jù)的增刪改查保證一致性問題，需要有主節(jié)點(diǎn)，由主節(jié)點(diǎn)來做出修改的動(dòng)作，并同步到其它節(jié)點(diǎn)上面； 當(dāng)主節(jié)點(diǎn)出現(xiàn)故障時(shí)，將在其他節(jié)點(diǎn)中自動(dòng)通過一定的選舉方法選舉出新的主節(jié)點(diǎn)； Oozie：任務(wù)調(diào)度工具 Oozie是Hadoop平臺(tái)的一種工作流調(diào)度引擎，Oozie是一種Java Web應(yīng)用程序，它運(yùn)行在Java Servlet容器（Tomcat），并使用數(shù)據(jù)庫來存儲(chǔ)以下內(nèi)容： 工作流定義； 當(dāng)前運(yùn)行的工作流實(shí)例，包括實(shí)例的狀態(tài)和變量； Oozie工作流是放置在控制依賴DAG中的一組動(dòng)作，其中指定了動(dòng)作執(zhí)行的順序； Ambari：可視化集群管理工具 部署、啟動(dòng)、監(jiān)控、查看、關(guān)閉Hadoop集群，可視化監(jiān)控、運(yùn)維、告警； Ambari主要由兩部分組成： Ambari Server； Ambari Client； 用戶通過Ambari Server通知Ambari Agent安裝對(duì)應(yīng)的軟件，Ambari Agent會(huì)定時(shí)地發(fā)送各個(gè)機(jī)器每個(gè)軟件模塊的狀態(tài)給Ambari Server，最終這些狀態(tài)信息會(huì)呈現(xiàn)在Ambari的GUI，方便用戶了解到集群的各種狀態(tài)，并進(jìn)行相應(yīng)的維護(hù)； Kafka：分布式消息總線 Kafka是一個(gè)低延遲高吞吐的分布式消息隊(duì)列，適用于離線和在線消息消費(fèi)，用于低延遲地收集和發(fā)送大量的事件和日志數(shù)據(jù)； 消息隊(duì)列(Message Queue)用于將消息生產(chǎn)的前端和后端服務(wù)架構(gòu)解耦，它是一種pub-sub結(jié)構(gòu)，前端消息生產(chǎn)者不需要知道后端消息消費(fèi)者的情況，只需要將消息發(fā)布到消息隊(duì)列中，且只用發(fā)布一次，即可認(rèn)為消息已經(jīng)被可靠存儲(chǔ)了，不用再維護(hù)消息的一致性和持久化，同時(shí)消息只傳輸一次就可以給后端多個(gè)消費(fèi)者，避免了每個(gè)消費(fèi)者都直接去前端獲取造成的前端服務(wù)器計(jì)算資源和帶寬的浪費(fèi)，甚至影響生產(chǎn)環(huán)境； 消息隊(duì)列分為以下幾種角色： Producer：生產(chǎn)者，即消息生產(chǎn)者，比如實(shí)時(shí)信令數(shù)據(jù)； Consumer: 消費(fèi)者，即消息的消費(fèi)者，比如后端的實(shí)時(shí)統(tǒng)計(jì)程序和批量挖掘程序； Consumer Group:消費(fèi)者組，即消費(fèi)者的并發(fā)單位，在數(shù)據(jù)量比較大的時(shí)候，需要分布式集群來處理消息，針對(duì)同一種消息，一組消費(fèi)者各自消費(fèi)某一Topic（話題，代表一些消息，Topic 是一個(gè)邏輯單位，一個(gè) Topic 被劃分成 N 個(gè) Partition，在數(shù)據(jù)量大的時(shí)候通過 Partition 來實(shí)現(xiàn)分布式傳輸）的一部分，來協(xié)作處理； Broker：存儲(chǔ)節(jié)點(diǎn)，Kafka支持將消息進(jìn)行短暫的持久化，比如存儲(chǔ)最近一周的數(shù)據(jù)，以便下游集群故障時(shí)，重新訂閱之前丟失的數(shù)據(jù)。 在Kafka中，Producer自動(dòng)通過Zookeeper獲取到Broker列表，通過Partition算法自動(dòng)負(fù)載均衡將消息發(fā)送到Broker集群。Broker 收到消息后自動(dòng)分發(fā)到副本 Broker 上保證消息的可靠性。下游消費(fèi)者通過 Zookeeper獲取Broker集群位置和Topic等信息，自動(dòng)完成訂閱消費(fèi)等動(dòng)作。 Kerberos & Ranger：安全加固 Kerberos： 通過密鑰系統(tǒng)為客戶機(jī)/服務(wù)器應(yīng)用程序提供強(qiáng)大的認(rèn)證服務(wù)； Apache Ranger： 集中式安全管理框架，并解決授權(quán)和審計(jì)； 身份驗(yàn)證（Authentication）：基于Kerberos的用戶、服務(wù)身份驗(yàn)證； 統(tǒng)一賬戶（Account）：使用統(tǒng)一應(yīng)用賬號(hào)訪問平臺(tái)眾多服務(wù)； 訪問授權(quán)（Authorization）：基于Ranger的精細(xì)粒度訪問權(quán)限； 操作審計(jì)（Audit）：基于Ranger的集中式審計(jì)日志； DBaaS：開箱即用的關(guān)系型數(shù)據(jù)庫服務(wù) MySQL高可用： 主從復(fù)制： 一主一從 + Keepalived + VRRP（(Virtual Router Redundancy Protocol，虛擬路由冗余協(xié)議）： Keepalived： Keepalived是一個(gè)基于VRRP協(xié)議來實(shí)現(xiàn)的LVS服務(wù)高可用方案，可以利用其來避免單點(diǎn)故障。一個(gè)LVS服務(wù)會(huì)有2臺(tái)服務(wù)器運(yùn)行Keepalived，一臺(tái)為主服務(wù)器（MASTER），一臺(tái)為備份服務(wù)器（BACKUP），但是對(duì)外表現(xiàn)為一個(gè)虛擬IP，主服務(wù)器會(huì)發(fā)送特定的消息給備份服務(wù)器，當(dāng)備份服務(wù)器收不到這個(gè)消息的時(shí)候，即主服務(wù)器宕機(jī)的時(shí)候， 備份服務(wù)器就會(huì)接管虛擬IP，繼續(xù)提供服務(wù)，從而保證了高可用性。 VRRP： 解決靜態(tài)路由單點(diǎn)故障問題，VRRP通過一競(jìng)選(election)協(xié)議來動(dòng)態(tài)的將路由任務(wù)交給LAN中虛擬路由器中的某臺(tái)VRRP路由器。 采用一主一從構(gòu)建高可用MySQL服務(wù)，當(dāng)主機(jī)宕機(jī)時(shí)，可以自動(dòng)觸發(fā)主從節(jié)點(diǎn)切換。通過使用VIP + Keepalived組件，實(shí)現(xiàn)主從切換時(shí)MySQL服務(wù)IP自動(dòng)漂移，主從庫自動(dòng)切換。 MHA（一主一從一只讀） + Keepalived + VRRP： MHA由兩部分組成：MHA Manager（管理節(jié)點(diǎn)）和MHA Node（數(shù)據(jù)節(jié)點(diǎn)）。MHA Manager可以單獨(dú)部署在一臺(tái)獨(dú)立的機(jī)器上管理多個(gè)master-slave集群，也可以部署在一臺(tái)slave節(jié)點(diǎn)上。MHA Node運(yùn)行在每臺(tái)MySQL服務(wù)器上，MHA Manager會(huì)定時(shí)探測(cè)集群中的master節(jié)點(diǎn)，當(dāng)master出現(xiàn)故障時(shí)，它可以自動(dòng)將最新數(shù)據(jù)的slave提升為新的master，然后將所有其他的slave重新指向新的master。整個(gè)故障轉(zhuǎn)移過程對(duì)應(yīng)用程序完全透明。 CssS：提供標(biāo)準(zhǔn)化的容器技術(shù)和容器管理方案，支撐無狀態(tài)應(yīng)用的標(biāo)準(zhǔn)化打包和部署 Docker：開源應(yīng)用容器引擎 Docker是Docker公司開源的一個(gè)基于輕量級(jí)虛擬化技術(shù)的容器引擎項(xiàng)目,整個(gè)項(xiàng)目 基于 Go 語言開發(fā)，并遵從 Apache 2.0 協(xié)議； 當(dāng)前，Docker可以在容器內(nèi)部快速自動(dòng)化部署應(yīng)用，并可以通過內(nèi)核虛擬化技術(shù) (namespaces及cgroups等) 來提供容器的資源隔離與安全保障等； Docker通過操作系統(tǒng)層的虛擬化實(shí)現(xiàn)隔離，所以Docker容器在運(yùn)行時(shí)，不需要類似 虛擬機(jī)(VM)額外的操作系統(tǒng)開銷，提高資源利用率，并且提升諸如I/O等方面的性能； Docker徹底釋放了虛擬化的潛力和威力，極大降低了云計(jì)算資源供應(yīng)的成本，同時(shí)讓業(yè)務(wù)應(yīng)用的開發(fā)、測(cè)試、部署都變得前所未有敏捷、高效和輕松； Kubernetes：容器集群管理系統(tǒng) Kubernetes是Google開源的容器集群管理系統(tǒng)，其提供應(yīng)用部署、維護(hù)、 擴(kuò)展機(jī)制等功能，利用Kubernetes能方便地管理跨機(jī)器運(yùn)行容器化的應(yīng)用，其主要功能如下： 使用Docker對(duì)應(yīng)用程序包裝(package)、實(shí)例化(instantiate)、運(yùn)行(run)； 以集群的方式運(yùn)行、管理跨機(jī)器的容器； 解決Docker跨機(jī)器容器之間的通訊問題； Kubernetes的自我修復(fù)機(jī)制使得容器集群總是運(yùn)行在用戶期望的狀態(tài)； DevOps：開發(fā)運(yùn)維一體化 第一階段：核心實(shí)踐和試點(diǎn)； 第二階段：持續(xù)集成和測(cè)試； 第三階段：持續(xù)部署和交付； 第四階段：持續(xù)運(yùn)維； 第五階段：持續(xù)評(píng)估改進(jìn)； 統(tǒng)一日志服務(wù)：提供多租戶安全的系統(tǒng)、應(yīng)用海量日志分析、交互式查詢和可視化 核心能力： 規(guī)劃構(gòu)建的統(tǒng)一日志平臺(tái)核心能力包括： 多租戶安全：支持多租戶端到端業(yè)務(wù)日志的存儲(chǔ)、分析、可視化能力，支持多租戶數(shù)據(jù)安全； 分析挖掘能力：通過Elasticsearch的結(jié)構(gòu)化查詢，實(shí)現(xiàn)復(fù)雜的多維度聯(lián)合查詢及數(shù)據(jù)聚合，深度挖掘日志數(shù)據(jù)； 可視化能力：支持圖表可視化呈現(xiàn)分析結(jié)果，支持Dashboard實(shí)時(shí)監(jiān)控關(guān)鍵指標(biāo)； Filebeat： 輕量級(jí)的日志采集器，部署于應(yīng)用側(cè)，負(fù)責(zé)實(shí)時(shí)采集日志； Logstash： 負(fù)責(zé)日志解析和轉(zhuǎn)發(fā)，靈活的正則配置可同時(shí)處理不同數(shù)據(jù)結(jié)構(gòu)的日志，并寫入Elasticsearch不同索引； Kafka： 分布式消息隊(duì)列，在Filebeat和Logstash中引入分布式消息隊(duì)列Kafka，可以從容的應(yīng)對(duì)峰值數(shù)據(jù)的高負(fù)載，并且在Logstash出現(xiàn)故障時(shí)，具備良好的恢復(fù)能力，可直接從Kafka做數(shù)據(jù)回放，避免回溯至若干上游應(yīng)用； Elasticsearch： 負(fù)責(zé)日志（原始數(shù)據(jù)、分析數(shù)據(jù)）的存儲(chǔ)、索引和搜索，是實(shí)時(shí)分析數(shù)據(jù)流程的核心組件； Kibana： 前端可視化工具，Elasticsearch的皮膚，結(jié)合Elasticsearch豐富的查詢邏輯，可定制多種圖表； Linux命令行： FTP、不同服務(wù)器之間、服務(wù)器與本地上傳/下載、進(jìn)程監(jiān)控、內(nèi)存監(jiān)控、JVM監(jiān)控、打包部署、Vim編輯、文件授權(quán)、審閱日志文件等等； Bash腳本開發(fā)： 能夠閱讀并編寫簡(jiǎn)單的腳本； Python： 能夠閱讀一般的Python腳本，深入后可學(xué)習(xí)爬蟲； 機(jī)器學(xué)習(xí)算法： 邏輯回歸算法； 基于特征的推薦算法； 分類算法； 聚類算法； 2、工具棧： 版本管理工具：Git，SVN； JAVA開發(fā)IDE：Intellij IDEA； 項(xiàng)目構(gòu)建工具：Maven； 文本編輯器：Subline、NotePad等； 數(shù)據(jù)庫管理工具：Navicat、SQLite Free等； 終端仿真程序：SecureCRT、Xshell5等； 3、業(yè)務(wù)棧： Tower化記錄： 做好任務(wù)的Tower化記錄，包括： 需求由來； 任務(wù)的具體描述； 解決問題的過程中關(guān)鍵細(xì)節(jié)記錄； 抄送給相關(guān)的項(xiàng)目負(fù)責(zé)人，并給出制定出解決問題的時(shí)間； 任務(wù)結(jié)論及相關(guān)解決方案文件的上傳； CPS工作清單： 對(duì)于維護(hù)過程中出現(xiàn)的每一個(gè)相關(guān)問題，應(yīng)養(yǎng)成記錄的良好習(xí)慣，方便未來進(jìn)行整理和排查。因此建立DMP項(xiàng)目維護(hù)工作清單，對(duì)于維護(hù)項(xiàng)的類別、詳細(xì)描述、維護(hù)時(shí)間、維護(hù)耗時(shí)、處理結(jié)果、維護(hù)相關(guān)人員及對(duì)應(yīng)的Tower任務(wù)鏈接進(jìn)行記錄； 現(xiàn)有任務(wù)梳理： 梳理遺留任務(wù)清單并標(biāo)注優(yōu)先級(jí)； 評(píng)估還需要多少人天可以完成問題及Bug； 評(píng)估未來的運(yùn)維（不含新需求）每周需要投入的人力； 每周工作明細(xì)： bug修復(fù)：總數(shù) + 清單明細(xì)（包括分工、人天耗時(shí)）； 新功能增加：總數(shù) + 清單明細(xì)； 功能優(yōu)化：總數(shù) + 清單明細(xì)； 下周工作計(jì)劃： 遇到的問題： 解決方案： XXX 求助： XXX
1 java基礎(chǔ)： 1.1 算法 1.1 排序算法：直接插入排序、希爾排序、冒泡排序、快速排序、直接選擇排序、堆排序、歸并排序、基數(shù)排序 1.2 二叉查找樹、紅黑樹、B樹、B+樹、LSM樹（分別有對(duì)應(yīng)的應(yīng)用，數(shù)據(jù)庫、HBase） 1.3 BitSet解決數(shù)據(jù)重復(fù)和是否存在等問題 1.2 基本 2.1 字符串常量池的遷移 2.2 字符串KMP算法 2.3 equals和hashcode 2.4 泛型、異常、反射 2.5 string的hash算法 2.6 hash沖突的解決辦法：拉鏈法 2.7 foreach循環(huán)的原理 2.8 static、final、transient等關(guān)鍵字的作用 2.9 volatile關(guān)鍵字的底層實(shí)現(xiàn)原理 2.10 Collections.sort方法使用的是哪種排序方法 2.11 Future接口，常見的線程池中的FutureTask實(shí)現(xiàn)等 2.12 string的intern方法的內(nèi)部細(xì)節(jié)，jdk1.6和jdk1.7的變化以及內(nèi)部cpp代碼StringTable的實(shí)現(xiàn) 1.3 設(shè)計(jì)模式 單例模式 工廠模式 裝飾者模式 觀察者設(shè)計(jì)模式 ThreadLocal設(shè)計(jì)模式 。。。 1.4 正則表達(dá)式 4.1 捕獲組和非捕獲組 4.2 貪婪，勉強(qiáng)，獨(dú)占模式 1.5 java內(nèi)存模型以及垃圾回收算法 5.1 類加載機(jī)制，也就是雙親委派模型 5.2 Java內(nèi)存分配模型（默認(rèn)HotSpot） 線程共享的：堆區(qū)、永久區(qū) 線程獨(dú)享的：虛擬機(jī)棧、本地方法棧、程序計(jì)數(shù)器 5.3 內(nèi)存分配機(jī)制：年輕代（Eden區(qū)、兩個(gè)Survivor區(qū)）、年老代、永久代以及他們的分配過程 5.4 強(qiáng)引用、軟引用、弱引用、虛引用與GC 5.5 happens-before規(guī)則 5.6 指令重排序、內(nèi)存柵欄 5.7 Java 8的內(nèi)存分代改進(jìn) 5.8 垃圾回收算法： 標(biāo)記-清除（不足之處：效率不高、內(nèi)存碎片） 復(fù)制算法（解決了上述問題，但是內(nèi)存只能使用一半，針對(duì)大部分對(duì)象存活時(shí)間短的場(chǎng)景，引出了一個(gè)默認(rèn)的8:1:1的改進(jìn)，缺點(diǎn)是仍然需要借助外界來解決可能承載不下的問題） 標(biāo)記整理 5.8 常用垃圾收集器： 新生代：Serial收集器、ParNew收集器、Parallel Scavenge 收集器 老年代：Serial Old收集器、Parallel Old收集器、CMS（Concurrent Mark Sweep）收集器、 G1 收集器（跨新生代和老年代） 5.9 常用gc的參數(shù)：-Xmn、-Xms、-Xmx、-XX:MaxPermSize、-XX:SurvivorRatio、-XX:-PrintGCDetails 5.10 常用工具： jps、jstat、jmap、jstack、圖形工具jConsole、Visual VM、MAT 1.6 鎖以及并發(fā)容器的源碼 6.1 synchronized和volatile理解 6.2 Unsafe類的原理，使用它來實(shí)現(xiàn)CAS。因此誕生了AtomicInteger系列等 6.3 CAS可能產(chǎn)生的ABA問題的解決，如加入修改次數(shù)、版本號(hào) 6.4 同步器AQS的實(shí)現(xiàn)原理 6.5 獨(dú)占鎖、共享鎖；可重入的獨(dú)占鎖ReentrantLock、共享鎖 實(shí)現(xiàn)原理 6.6 公平鎖和非公平鎖 6.7 讀寫鎖 ReentrantReadWriteLock的實(shí)現(xiàn)原理 6.8 LockSupport工具 6.9 Condition接口及其實(shí)現(xiàn)原理 6.10 HashMap、HashSet、ArrayList、LinkedList、HashTable、ConcurrentHashMap、TreeMap的實(shí)現(xiàn)原理 6.11 HashMap的并發(fā)問題 6.12 ConcurrentLinkedQueue的實(shí)現(xiàn)原理 6.13 Fork/Join框架 6.14 CountDownLatch和CyclicBarrier 1.7 線程池源碼 7.1 內(nèi)部執(zhí)行原理 7.2 各種線程池的區(qū)別 2 web方面： 2.1 SpringMVC的架構(gòu)設(shè)計(jì) 1.1 servlet開發(fā)存在的問題：映射問題、參數(shù)獲取問題、格式化轉(zhuǎn)換問題、返回值處理問題、視圖渲染問題 1.2 SpringMVC為解決上述問題開發(fā)的幾大組件及接口：HandlerMapping、HandlerAdapter、HandlerMethodArgumentResolver、HttpMessageConverter、Converter、GenericConverter、HandlerMethodReturnValueHandler、ViewResolver、MultipartResolver 1.3 DispatcherServlet、容器、組件三者之間的關(guān)系 1.4 敘述SpringMVC對(duì)請(qǐng)求的整體處理流程 1.5 SpringBoot 2.2 SpringAOP源碼 2.1 AOP的實(shí)現(xiàn)分類：編譯期、字節(jié)碼加載前、字節(jié)碼加載后三種時(shí)機(jī)來實(shí)現(xiàn)AOP 2.2 深刻理解其中的角色：AOP聯(lián)盟、aspectj、jboss AOP、spring自身實(shí)現(xiàn)的AOP、Spring嵌入aspectj。特別是能用代碼區(qū)分后兩者 2.3 接口設(shè)計(jì)： AOP聯(lián)盟定義的概念或接口：Pointcut（概念，沒有定義對(duì)應(yīng)的接口）、Joinpoint、Advice、MethodInterceptor、MethodInvocation SpringAOP針對(duì)上述Advice接口定義的接口及其實(shí)現(xiàn)類：BeforeAdvice、AfterAdvice、MethodBeforeAdvice、AfterReturningAdvice；針對(duì)aspectj對(duì)上述接口的實(shí)現(xiàn)AspectJMethodBeforeAdvice、AspectJAfterReturningAdvice、AspectJAfterThrowingAdvice、AspectJAfterAdvice。 SpringAOP定義的定義的AdvisorAdapter接口：將上述Advise轉(zhuǎn)化為MethodInterceptor SpringAOP定義的Pointcut接口：含有兩個(gè)屬性ClassFilter（過濾類）、MethodMatcher（過濾方法） SpringAOP定義的ExpressionPointcut接口：實(shí)現(xiàn)中會(huì)引入aspectj的pointcut表達(dá)式 SpringAOP定義的PointcutAdvisor接口（將上述Advice接口和Pointcut接口結(jié)合起來） 2.4 SpringAOP的調(diào)用流程 2.5 SpringAOP自己的實(shí)現(xiàn)方式（代表人物ProxyFactoryBean）和借助aspectj實(shí)現(xiàn)方式區(qū)分 2.3 Spring事務(wù)體系源碼以及分布式事務(wù)Jotm Atomikos源碼實(shí)現(xiàn) 3.1 jdbc事務(wù)存在的問題 3.2 Hibernate對(duì)事務(wù)的改進(jìn) 3.3 針對(duì)各種各樣的事務(wù)，Spring如何定義事務(wù)體系的接口，以及如何融合jdbc事務(wù)和Hibernate事務(wù)的 3.4 三種事務(wù)模型包含的角色以及各自的職責(zé) 3.5 事務(wù)代碼也業(yè)務(wù)代碼分離的實(shí)現(xiàn)（AOP+ThreadLocal來實(shí)現(xiàn)） 3.6 Spring事務(wù)攔截器TransactionInterceptor全景 3.7 X/Open DTP模型，兩階段提交，JTA接口定義 3.8 Jotm、Atomikos的實(shí)現(xiàn)原理 3.9 事務(wù)的傳播屬性 3.10 PROPAGATION_REQUIRES_NEW、PROPAGATION_NESTED的實(shí)現(xiàn)原理以及區(qū)別 3.11 事物的掛起和恢復(fù)的原理 2.4 數(shù)據(jù)庫隔離級(jí)別 4.1 Read uncommitted：讀未提交 4.2 Read committed ： 讀已提交 4.3 Repeatable read：可重復(fù)讀 4.4 Serializable ：串行化 2.5 數(shù)據(jù)庫 5.1 數(shù)據(jù)庫性能的優(yōu)化 5.2 深入理解MySQL的Record Locks、Gap Locks、Next-Key Locks 例如下面的在什么情況下會(huì)出現(xiàn)死鎖： start transaction; DELETE FROM t WHERE id =6; INSERT INTO t VALUES(6); commit; 5.3 insert into select語句的加鎖情況 5.4 事務(wù)的ACID特性概念 5.5 innodb的MVCC理解 5.6 undo redo binlog 1 undo redo 都可以實(shí)現(xiàn)持久化，他們的流程是什么？為什么選用redo來做持久化？ 2 undo、redo結(jié)合起來實(shí)現(xiàn)原子性和持久化，為什么undo log要先于redo log持久化？ 3 undo為什么要依賴redo？ 4 日志內(nèi)容可以是物理日志，也可以是邏輯日志？他們各自的優(yōu)點(diǎn)和缺點(diǎn)是？ 5 redo log最終采用的是物理日志加邏輯日志，物理到page，page內(nèi)邏輯。還存在什么問題？怎么解決？Double Write 6 undo log為什么不采用物理日志而采用邏輯日志？ 7 為什么要引入Checkpoint？ 8 引入Checkpoint后為了保證一致性需要阻塞用戶操作一段時(shí)間，怎么解決這個(gè)問題？（這個(gè)問題還是很有普遍性的，redis、ZooKeeper都有類似的情況以及不同的應(yīng)對(duì)策略）又有了同步Checkpoint和異步Checkpoint 9 開啟binlog的情況下，事務(wù)內(nèi)部2PC的一般過程（含有2次持久化，redo log和binlog的持久化） 10 解釋上述過程，為什么binlog的持久化要在redo log之后，在存儲(chǔ)引擎commit之前？ 11 為什么要保持事務(wù)之間寫入binlog和執(zhí)行存儲(chǔ)引擎commit操作的順序性？（即先寫入binlog日志的事務(wù)一定先commit） 12 為了保證上述順序性，之前的辦法是加鎖prepare_commit_mutex，但是這極大的降低了事務(wù)的效率，怎么來實(shí)現(xiàn)binlog的group commit？ 13 怎么將redo log的持久化也實(shí)現(xiàn)group commit？至此事務(wù)內(nèi)部2PC的過程，2次持久化的操作都可以group commit了，極大提高了效率 2.6 ORM框架: mybatis、Hibernate 6.1 最原始的jdbc->Spring的JdbcTemplate->hibernate->JPA->SpringDataJPA的演進(jìn)之路 2.7 SpringSecurity、shiro、SSO（單點(diǎn)登錄） 7.1 Session和Cookie的區(qū)別和聯(lián)系以及Session的實(shí)現(xiàn)原理 7.2 SpringSecurity的認(rèn)證過程以及與Session的關(guān)系 7.3 CAS實(shí)現(xiàn)SSO（詳見Cas（01）——簡(jiǎn)介） 2.8 日志 8.1 jdk自帶的logging、log4j、log4j2、logback 8.2 門面commons-logging、slf4j 8.3 上述6種混戰(zhàn)時(shí)的日志轉(zhuǎn)換 2.9 datasource 9.1 c3p0 9.2 druid 9.3 JdbcTemplate執(zhí)行sql語句的過程中對(duì)Connection的使用和管理 2.10 HTTPS的實(shí)現(xiàn)原理 3 分布式、java中間件、web服務(wù)器等方面： 3.1 ZooKeeper源碼 1.1 客戶端架構(gòu) 1.2 服務(wù)器端單機(jī)版和集群版，對(duì)應(yīng)的請(qǐng)求處理器 1.3 集群版session的建立和激活過程 1.4 Leader選舉過程 1.5 事務(wù)日志和快照文件的詳細(xì)解析 1.6 實(shí)現(xiàn)分布式鎖、分布式ID分發(fā)器 1.7 實(shí)現(xiàn)Leader選舉 1.8 ZAB協(xié)議實(shí)現(xiàn)一致性原理 3.2 序列化和反序列化框架 2.1 Avro研究 2.2 Thrift研究 2.3 Protobuf研究 2.4 Protostuff研究 2.5 Hessian 3.3 RPC框架dubbo源碼 3.1 dubbo擴(kuò)展機(jī)制的實(shí)現(xiàn)，對(duì)比SPI機(jī)制 3.2 服務(wù)的發(fā)布過程 3.3 服務(wù)的訂閱過程 3.4 RPC通信的設(shè)計(jì) 3.4 NIO模塊以及對(duì)應(yīng)的Netty和Mina、thrift源碼 4.1 TCP握手和斷開及有限狀態(tài)機(jī) 4.2 backlog 4.3 BIO NIO 4.4 阻塞/非阻塞的區(qū)別、同步/異步的區(qū)別 4.5 阻塞IO、非阻塞IO、多路復(fù)用IO、異步IO 4.6 Reactor線程模型 4.7 jdk的poll、epoll與底層poll、epoll的對(duì)接實(shí)現(xiàn) 4.8 Netty自己的epoll實(shí)現(xiàn) 4.9 內(nèi)核層poll、epoll的大致實(shí)現(xiàn) 4.10 epoll的邊緣觸發(fā)和水平觸發(fā) 4.11 Netty的EventLoopGroup設(shè)計(jì) 4.12 Netty的ByteBuf設(shè)計(jì) 4.13 Netty的ChannelHandler 4.13 Netty的零拷貝 4.14 Netty的線程模型，特別是與業(yè)務(wù)線程以及資源釋放方面的理解 3.5 消息隊(duì)列kafka、RocketMQ、Notify、Hermes 5.1 kafka的文件存儲(chǔ)設(shè)計(jì) 5.2 kafka的副本復(fù)制過程 5.3 kafka副本的leader選舉過程 5.4 kafka的消息丟失問題 5.5 kafka的消息順序性問題 5.6 kafka的isr設(shè)計(jì)和過半對(duì)比 5.7 kafka本身做的很輕量級(jí)來保持高效，很多高級(jí)特性沒有：事務(wù)、優(yōu)先級(jí)的消息、消息的過濾，更重要的是服務(wù)治理不健全，一旦出問題，不能直觀反應(yīng)出來，不太適合對(duì)數(shù)據(jù)要求十分嚴(yán)苛的企業(yè)級(jí)系統(tǒng)，而適合日志之類并發(fā)量大但是允許少量的丟失或重復(fù)等場(chǎng)景 5.8 Notify、RocketMQ的事務(wù)設(shè)計(jì) 5.9 基于文件的kafka、RocketMQ和基于數(shù)據(jù)庫的Notify和Hermes 5.10 設(shè)計(jì)一個(gè)消息系統(tǒng)要考慮哪些方面 5.11 丟失消息、消息重復(fù)、高可用等話題 3.6 數(shù)據(jù)庫的分庫分表mycat 3.7 NoSql數(shù)據(jù)庫mongodb 3.8 KV鍵值系統(tǒng)memcached redis 8.1 redis對(duì)客戶端的維護(hù)和管理，讀寫緩沖區(qū) 8.2 redis事務(wù)的實(shí)現(xiàn) 8.3 Jedis客戶端的實(shí)現(xiàn) 8.4 JedisPool以及ShardedJedisPool的實(shí)現(xiàn) 8.5 redis epoll實(shí)現(xiàn)，循環(huán)中的文件事件和時(shí)間事件 8.6 redis的RDB持久化，save和bgsave 8.7 redis AOF命令追加、文件寫入、文件同步到磁盤 8.8 redis AOF重寫，為了減少阻塞時(shí)間采取的措施 8.9 redis的LRU內(nèi)存回收算法 8.10 redis的master slave復(fù)制 8.11 redis的sentinel高可用方案 8.12 redis的cluster分片方案 3.9 web服務(wù)器tomcat、ngnix的設(shè)計(jì)原理 9.1 tomcat的整體架構(gòu)設(shè)計(jì) 9.2 tomcat對(duì)通信的并發(fā)控制 9.3 http請(qǐng)求到達(dá)tomcat的整個(gè)處理流程 3.10 ELK日志實(shí)時(shí)處理查詢系統(tǒng) 10.1 Elasticsearch、Logstash、Kibana 3.11 服務(wù)方面 11.1 SOA與微服務(wù) 11.2 服務(wù)的合并部署、多版本自動(dòng)快速切換和回滾 詳見基于Java容器的多應(yīng)用部署技術(shù)實(shí)踐 11.3 服務(wù)的治理：限流、降級(jí) 具體見 張開濤大神的架構(gòu)系列 服務(wù)限流：令牌桶、漏桶 服務(wù)降級(jí)、服務(wù)的熔斷、服務(wù)的隔離：netflix的hystrix組件 11.4 服務(wù)的線性擴(kuò)展 無狀態(tài)的服務(wù)如何做線性擴(kuò)展： 如一般的web應(yīng)用，直接使用硬件或者軟件做負(fù)載均衡，簡(jiǎn)單的輪訓(xùn)機(jī)制 有狀態(tài)服務(wù)如何做線性擴(kuò)展： 如Redis的擴(kuò)展：一致性hash，遷移工具 11.5 服務(wù)鏈路監(jiān)控和報(bào)警：CAT、Dapper、Pinpoint 3.12 Spring Cloud 12.1 Spring Cloud Zookeeper:用于服務(wù)注冊(cè)和發(fā)現(xiàn) 12.2 Spring Cloud Config:分布式配置 12.2 Spring Cloud Netflix Eureka：用于rest服務(wù)的注冊(cè)和發(fā)現(xiàn) 12.3 Spring Cloud Netflix Hystrix：服務(wù)的隔離、熔斷和降級(jí) 12.4 Spring Cloud Netflix Zuul:動(dòng)態(tài)路由，API Gateway 3.13 分布式事務(wù) 13.1 JTA分布式事務(wù)接口定義，對(duì)此與Spring事務(wù)體系的整合 13.2 TCC分布式事務(wù)概念 13.3 TCC分布式事務(wù)實(shí)現(xiàn)框架案例1：tcc-transaction 13.3.1 TccCompensableAspect切面攔截創(chuàng)建ROOT事務(wù) 13.3.2 TccTransactionContextAspect切面使遠(yuǎn)程RPC調(diào)用資源加入到上述事務(wù)中，作為一個(gè)參與者 13.3.3 TccCompensableAspect切面根據(jù)遠(yuǎn)程RPC傳遞的TransactionContext的標(biāo)記創(chuàng)建出分支事務(wù) 13.3.4 全部RPC調(diào)用完畢，ROOT事務(wù)開始提交或者回滾，執(zhí)行所有參與者的提交或回滾 13.3.5 所有參與者的提交或者回滾，還是通過遠(yuǎn)程RPC調(diào)用，provider端開始執(zhí)行對(duì)應(yīng)分支事務(wù)的confirm或者cancel方法 13.3.6 事務(wù)的存儲(chǔ)，集群共享問題13.3.7 事務(wù)的恢復(fù)，避免集群重復(fù)恢復(fù) 13.4 TCC分布式事務(wù)實(shí)現(xiàn)框架案例2：ByteTCC 13.4.1 JTA事務(wù)管理實(shí)現(xiàn)，類比Jotm、Atomikos等JTA實(shí)現(xiàn) 13.4.2 事務(wù)的存儲(chǔ)和恢復(fù)，集群是否共享問題調(diào)用方創(chuàng)建CompensableTransaction事務(wù)，并加入資源 13.4.3 CompensableMethodInterceptor攔截器向spring事務(wù)注入CompensableInvocation資源 13.4.4 Spring的分布式事務(wù)管理器創(chuàng)建作為協(xié)調(diào)者CompensableTransaction類型事務(wù)，和當(dāng)前線程進(jìn)行綁定，同時(shí)創(chuàng)建一個(gè)jta事務(wù) 13.4.5 在執(zhí)行sql等操作的時(shí)候，所使用的jdbc等XAResource資源加入上述jta事務(wù) 13.4.6 dubbo RPC遠(yuǎn)程調(diào)用前，CompensableDubboServiceFilter創(chuàng)建出一個(gè)代理XAResource，加入上述 CompensableTransaction類型事務(wù)，并在RPC調(diào)用過程傳遞TransactionContext參與方創(chuàng)建分支的CompensableTransaction事務(wù)，并加入資源，然后提交jta事務(wù) 13.4.7 RPC遠(yuǎn)程調(diào)用來到provider端，CompensableDubboServiceFilter根據(jù)傳遞過來的TransactionContext創(chuàng)建出對(duì)應(yīng)的CompensableTransaction類型事務(wù) 13.4.8 provider端，執(zhí)行時(shí)遇見@Transactional和@Compensable，作為一個(gè)參與者開啟try階段的事務(wù)，即創(chuàng)建了一個(gè)jta事務(wù) 13.4.9 provider端try執(zhí)行完畢開始準(zhǔn)備try的提交，僅僅是提交上述jta事務(wù)，返回結(jié)果到RPC調(diào)用端調(diào)用方?jīng)Q定回滾還是提交 13.4.10 全部執(zhí)行完畢后開始事務(wù)的提交或者回滾，如果是提交則先對(duì)jta事務(wù)進(jìn)行提交（包含jdbc等XAResource資源的提交），提交成功后再對(duì)CompensableTransaction類型事務(wù)進(jìn)行提交，如果jta事務(wù)提交失敗，則需要回滾CompensableTransaction類型事務(wù)。 13.4.11 CompensableTransaction類型事務(wù)的提交就是對(duì)CompensableInvocation資源和RPC資源的提交，分別調(diào)用每一個(gè)CompensableInvocation資源的confirm，以及每一個(gè)RPC資源的提交CompensableInvocation資源的提交 13.4.12 此時(shí)每一個(gè)CompensableInvocation資源的confirm又會(huì)準(zhǔn)備開啟一個(gè)新的事務(wù)，當(dāng)前線程的CompensableTransaction類型事務(wù)已存在，所以這里開啟事務(wù)僅僅是創(chuàng)建了一個(gè)新的jta事務(wù)而已 13.4.13 針對(duì)此，每一個(gè)CompensableInvocation資源的confirm開啟的事務(wù)，又開始重復(fù)上述過程，對(duì)于jdbc等資源都加入新創(chuàng)建的jta事務(wù)中，而RPC資源和CompensableInvocation資源仍然加入到當(dāng)前線程綁定的CompensableTransaction類型事務(wù) 13.4.14 當(dāng)前CompensableInvocation資源的confirm開啟的事務(wù)執(zhí)行完畢后，開始執(zhí)行commit,此時(shí)仍然是執(zhí)行jta事務(wù)的提交，提交完畢，一個(gè)CompensableInvocation資源的confirm完成，繼續(xù)執(zhí)行下一個(gè)CompensableInvocation資源的confirm，即又要重新開啟一個(gè)新的jta事務(wù)RPC資源的提交（參與方CompensableTransaction事務(wù)的提交） 13.4.15 當(dāng)所有CompensableInvocation資源的confirm執(zhí)行完畢，開始執(zhí)行RPC資源的commit，會(huì)進(jìn)行遠(yuǎn)程調(diào)用，執(zhí)行遠(yuǎn)程provider分支事務(wù)的提交，遠(yuǎn)程調(diào)用過程會(huì)傳遞事務(wù)id 13.4.16 provider端，根據(jù)傳遞過來的事務(wù)id找到對(duì)應(yīng)的CompensableTransaction事務(wù)，開始執(zhí)行提交操作，提交操作完成后返回響應(yīng)結(jié)束 13.4.17 協(xié)調(diào)者收到響應(yīng)后繼續(xù)執(zhí)行下一個(gè)RPC資源的提交，當(dāng)所有RPC資源也完成相應(yīng)的提交，則協(xié)調(diào)者算是徹底完成該事務(wù) 3.14 一致性算法 14.1 raft（詳見Raft算法賞析） 14.1.1 leader選舉過程，leader選舉約束，要包含所有commited entries，實(shí)現(xiàn)上log比過半的log都最新即可 14.1.2 log復(fù)制過程，leader給所有的follower發(fā)送AppendEntries RPC請(qǐng)求，過半follower回復(fù)ok，則可提交該entry，然后向客戶端響應(yīng)OK 14.1.3 在上述leader收到過半復(fù)制之后，掛了，則后續(xù)leader不能直接對(duì)這些之前term的過半entry進(jìn)行提交（這一部分有詳細(xì)的案例來證明，并能說出根本原因），目前做法是在當(dāng)前term中創(chuàng)建空的entry，然后如果這些新創(chuàng)建的entry被大部分復(fù)制了，則此時(shí)就可以對(duì)之前term的過半entry進(jìn)行提交了 14.1.4 leader一旦認(rèn)為某個(gè)term可以提交了，則更新自己的commitIndex，同時(shí)應(yīng)用entry到狀態(tài)機(jī)中，然后在下一次與follower的heartbeat通信中，將leader的commitIndex帶給follower，讓他們進(jìn)行更新，同時(shí)應(yīng)用entry到他們的狀態(tài)機(jī)中 14.1.5 從上述流程可以看到，作為client來說，可能會(huì)出現(xiàn)這樣的情況：leader認(rèn)為某次client的請(qǐng)求可以提交了（對(duì)應(yīng)的entry已經(jīng)被過半復(fù)制了），此時(shí)leader掛了，還沒來得及給client回復(fù)，也就是說對(duì)client來說，請(qǐng)求雖然失敗了，但是請(qǐng)求對(duì)應(yīng)的entry卻被持久化保存了，但是有的時(shí)候卻是請(qǐng)求失敗了（過半都沒復(fù)制成功）沒有持久化成功，也就是說請(qǐng)求失敗了，服務(wù)器端可能成功了也可能失敗了。所以這時(shí)候需要在client端下功夫，即cleint端重試的時(shí)候仍然使用之前的請(qǐng)求數(shù)據(jù)進(jìn)行重試，而不是采用新的數(shù)據(jù)進(jìn)行重試，服務(wù)器端也必須要實(shí)現(xiàn)冪等。 14.1.6 Cluster membership changes 14.2 ZooKeeper使用的ZAB協(xié)議（詳見ZooKeeper的一致性算法賞析） 14.2.1 leader選舉過程。要點(diǎn)：對(duì)于不同狀態(tài)下的server的投票的收集，投票是需要選舉出一個(gè)包含所有日志的server來作為leader 14.2.2 leader和follower數(shù)據(jù)同步過程，全量同步、差異同步、日志之間的糾正和截?cái)啵瑏肀ＷC和leader之間的一致性。以及follower加入已經(jīng)完成選舉的系統(tǒng)，此時(shí)的同步的要點(diǎn)：阻塞leader處理寫請(qǐng)求，完成日志之間的差異同步，還要處理現(xiàn)有進(jìn)行中的請(qǐng)求的同步，完成同步后，解除阻塞。 14.2.3 廣播階段，即正常處理客戶端的請(qǐng)求，過半響應(yīng)即可回復(fù)客戶端。 14.2.4 日志的恢復(fù)和持久化。持久化：每隔一定數(shù)量的事務(wù)日志持久化一次，leader選舉前持久化一次。恢復(fù)：簡(jiǎn)單的認(rèn)為已寫入日志的的事務(wù)請(qǐng)求都算作已提交的請(qǐng)求（不管之前是否已過半復(fù)制），全部執(zhí)行commit提交。具體的恢復(fù)是：先恢復(fù)快照日志，然后再應(yīng)用相應(yīng)的事務(wù)日志 14.3 paxos（詳見paxos算法證明過程） 14.3.1 paxos的運(yùn)作過程： Phase 1: (a) 一個(gè)proposer選擇一個(gè)編號(hào)為n的議案，向所有的acceptor發(fā)送prepare請(qǐng)求 Phase 1: (b) 如果acceptor已經(jīng)響應(yīng)的prepare請(qǐng)求中議案編號(hào)都比n小，則它承諾不再響應(yīng)prepare請(qǐng)求或者accept請(qǐng)求中議案編號(hào)小于n的， 并且找出已經(jīng)accept的最大議案的value返回給該proposer。如果已響應(yīng)的編號(hào)比n大，則直接忽略該prepare請(qǐng)求。 Phase 2：(a) 如果proposer收到了過半的acceptors響應(yīng)，那么將提出一個(gè)議案（n，v）,v就是上述所有acceptor響應(yīng)中最大accept議案的value，或者是proposer自己的value。然后將該議案發(fā)送給所有的acceptor。這個(gè)請(qǐng)求叫做accept請(qǐng)求，這一步才是所謂發(fā)送議案請(qǐng)求，而前面的prepare請(qǐng)求更多的是一個(gè)構(gòu)建出最終議案(n,v)的過程。 Phase 2：(b) acceptor接收到編號(hào)為n的議案，如果acceptor還沒有對(duì)大于n的議案的prepare請(qǐng)求響應(yīng)過，則acceptor就accept該議案，否則拒絕 14.3.2 paxos的證明過程： 1 足夠多的問題 2 acceptor的初始accept 3 P2-對(duì)結(jié)果要求 4 P2a-對(duì)acceptor的accept要求 5 P2b-對(duì)proposer提出議案的要求（結(jié)果上要求） 6 P2c-對(duì)proposer提出議案的要求（做法上要求） 7 引出prepare過程和P1a 8 8 優(yōu)化prepare 14.3.3 base paxos和multi-paxos 4 大數(shù)據(jù)方向 4.1 Hadoop 1.1 UserGroupInformation源碼解讀：JAAS認(rèn)證、user和group關(guān)系的維護(hù) 1.2 RPC通信的實(shí)現(xiàn) 1.3 代理用戶的過程 1.4 kerberos認(rèn)證 4.2 MapReduce 2.1 MapReduce理論及其對(duì)應(yīng)的接口定義 4.3 HDFS 3.1 MapFile、SequenceFile 3.2 ACL 4.4 YARN、Mesos 資源調(diào)度 4.5 oozie 5.1 oozie XCommand設(shè)計(jì) 5.2 DagEngine的實(shí)現(xiàn)原理 4.6 Hive 6.1 HiveServer2、metatore的thrift RPC通信設(shè)計(jì) 6.2 Hive的優(yōu)化過程 6.3 HiveServer2的認(rèn)證和授權(quán) 6.4 metastore的認(rèn)證和授權(quán) 6.5 HiveServer2向metatore的用戶傳遞過程 4.7 Hbase 7.1 Hbase的整體架構(gòu)圖 7.2 Hbase的WAL和MVCC設(shè)計(jì) 7.3 client端的異步批量flush尋找RegionServer的過程 7.4 Zookeeper上HBase節(jié)點(diǎn)解釋 7.5 Hbase中的mini、major合并 7.6 Region的高可用問題對(duì)比kafka分區(qū)的高可用實(shí)現(xiàn) 7.7 RegionServer RPC調(diào)用的隔離問題 7.8 數(shù)據(jù)從內(nèi)存刷寫到HDFS的粒度問題 7.9 rowKey的設(shè)計(jì) 7.10 MemStore與LSM
JAVA程序員技術(shù)棧、業(yè)務(wù)棧、工具棧
目錄：
1、技術(shù)棧
2、業(yè)務(wù)棧
3、工具棧
今天是實(shí)習(xí)期以來將近100天了，感謝公司給予的期望與同事們提供的幫助。好久沒更新博客了，一是懶于寫，二是文章寫得不夠深刻、自身的知識(shí)體系還較零亂、理解不夠全面和精湛，甚至存在偏差和誤導(dǎo)，距離小目標(biāo)的實(shí)現(xiàn)之路還很遠(yuǎn)很遠(yuǎn)，現(xiàn)總結(jié)一下我自身這三個(gè)月來作為一名研發(fā)部->項(xiàng)目組->實(shí)習(xí)JAVA開發(fā)工程師用到的一些技術(shù)棧、業(yè)務(wù)棧及工具棧。
三個(gè)月來，共參與項(xiàng)目四個(gè)：
架構(gòu)管控項(xiàng)目一個(gè)；
開發(fā)維護(hù)項(xiàng)目一個(gè)；
新開發(fā)項(xiàng)目一個(gè)；
維保項(xiàng)目一個(gè)；
針對(duì)自己參與的項(xiàng)目，下面列出三個(gè)月來我涉及的一些技術(shù)棧、業(yè)務(wù)棧及工具棧概述：
1、技術(shù)棧：
Java：
SSM（Spring + Spring MVC + Mybatis）：
Spring：
Spring是一個(gè)輕量級(jí)的控制反轉(zhuǎn)（IoC）和面向切面（AOP）的容器框架；
Spring MVC：
Spring MVC 分離了控制器、模型對(duì)象、分派器以及處理程序?qū)ο蟮慕巧@種分離讓它們更容易進(jìn)行定制；
Mybatis：
MyBatis是一個(gè)基于Java的持久層框架。iBATIS提供的持久層框架包括SQL Maps和Data Access Objects（DAO）MyBatis 消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis 使用簡(jiǎn)單的 XML或注解用于配置和原始映射，將接口和 Java 的POJOs（Plain Old Java Objects，普通的 Java對(duì)象）映射成數(shù)據(jù)庫中的記錄；
Java基礎(chǔ)
多線程、Future、Callable
內(nèi)部類、閉包和回調(diào)
并發(fā)、Executor
Apache Commons CLI 開發(fā)命令行工具
JVM：
類加載機(jī)制；
線程安全；
垃圾回收機(jī)制——新生代、老年代、永久代，能夠?qū)π枰獔?zhí)行的程序配置相關(guān)參數(shù)；
JAVA堆；
HaaS：統(tǒng)一Hadoop資源池平臺(tái)，基于Hadoop等大數(shù)據(jù)技術(shù)，提供統(tǒng)一數(shù)據(jù)存儲(chǔ)、計(jì)算能力
HDFS（Hadoop Distributed File System）：海量數(shù)據(jù)存儲(chǔ)
存儲(chǔ)并管理PB級(jí)數(shù)據(jù)；
處理非結(jié)構(gòu)化數(shù)據(jù)；
注重?cái)?shù)據(jù)處理的吞吐量；
應(yīng)用模式Write_Once_Read_Many；
YARN（Yet Another Resource Negotiator）：統(tǒng)一資源調(diào)度和分配
ResourceManager：負(fù)責(zé)集群資源管理和調(diào)度；
ApplicationMaster：替代JobTracker負(fù)責(zé)計(jì)算任務(wù)的管理和調(diào)度；
Nodemanager：替代TaskTracker負(fù)責(zé)每個(gè)節(jié)點(diǎn)上計(jì)算Task的管理和調(diào)度；
MapReduce：非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的海量批處理
Map：映射，用來把一組鍵值對(duì)映射成一組新的鍵值對(duì)；
Reduce：歸約，用來保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組，并進(jìn)行聚合計(jì)算；
核心思想：
利用成百上千個(gè)CPU并行處理海量數(shù)據(jù)；
移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算；
Spark：分布式內(nèi)存計(jì)算框架
Spark是一種與Hadoop相似的開源集群計(jì)算環(huán)境，Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù)，能在數(shù)據(jù)尚未寫入硬盤時(shí)即在內(nèi)存內(nèi)分析運(yùn)算，而相對(duì)于傳統(tǒng)的大數(shù)據(jù)解決方案Hadoop的MapReduce會(huì)在運(yùn)行完工作后將中介數(shù)據(jù)存放在磁盤中，Spark在內(nèi)存內(nèi)運(yùn)行程序的運(yùn)算速度能做到比Hadoop MapReduce的運(yùn)算速度快上100倍；
Spark Streaming：實(shí)時(shí)/準(zhǔn)實(shí)時(shí)流的計(jì)算框架
Spark Streaming將數(shù)據(jù)劃分為一個(gè)一個(gè)的數(shù)據(jù)塊（batch），每個(gè)數(shù)據(jù)塊通過微批處理的方式對(duì)數(shù)據(jù)進(jìn)行處理，在Spark Streaming中，數(shù)據(jù)處理的單位是一批而不是單條，而數(shù)據(jù)采集確是逐條進(jìn)行的，因此Spark Streaming系統(tǒng)需要設(shè)置間隔使得數(shù)據(jù)匯總到一定的量后再一并操作，這個(gè)間隔就是批處理間隔。批處理間隔是Spark Streaming的核心概念和關(guān)鍵參數(shù)，它決定了Spark Streaming提交作業(yè)的頻率和數(shù)據(jù)處理的延遲，同時(shí)也影響著數(shù)據(jù)處理的吞吐量和性能；
HBase：Key/Value、半結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)和檢索
分布式的、面向列的開源數(shù)據(jù)庫；
Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和故障轉(zhuǎn)移機(jī)制。這使得HBase可以用于支撐億級(jí)的海量數(shù)據(jù)存儲(chǔ)和應(yīng)用；
Hive：結(jié)構(gòu)化數(shù)據(jù)的查詢和分析
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行；
Hive擅長(zhǎng)的是非實(shí)時(shí)的、離線的、對(duì)響應(yīng)實(shí)時(shí)性要求不高的海量數(shù)據(jù)即席查詢（SQL查詢）；
Hive和傳統(tǒng)關(guān)系型數(shù)據(jù)庫有很大區(qū)別，Hive將外部的任務(wù)解析成一個(gè)MapReduce可執(zhí)行計(jì)劃，每次提交任務(wù)和執(zhí)行任務(wù)都需要消耗很多時(shí)間（可以換用Tez計(jì)算框架來提升性能），這也就決定Hive只能處理一些高延遲的應(yīng)用。
Zookeeper：分布式協(xié)同工具
Zookeeper是利用Paxos算法解決消息傳遞一致性的分布式服務(wù)框架；
Zookeeper通過部署多臺(tái)機(jī)器，能夠?qū)崿F(xiàn)分布式的負(fù)載均衡的訪問服務(wù)。不同的Client向Zookeeper中不同機(jī)器請(qǐng)求數(shù)據(jù)；
為了實(shí)現(xiàn)集群中配置數(shù)據(jù)的增刪改查保證一致性問題，需要有主節(jié)點(diǎn)，由主節(jié)點(diǎn)來做出修改的動(dòng)作，并同步到其它節(jié)點(diǎn)上面；
當(dāng)主節(jié)點(diǎn)出現(xiàn)故障時(shí)，將在其他節(jié)點(diǎn)中自動(dòng)通過一定的選舉方法選舉出新的主節(jié)點(diǎn)；
Oozie：任務(wù)調(diào)度工具
Oozie是Hadoop平臺(tái)的一種工作流調(diào)度引擎，Oozie是一種Java Web應(yīng)用程序，它運(yùn)行在Java Servlet容器（Tomcat），并使用數(shù)據(jù)庫來存儲(chǔ)以下內(nèi)容：
工作流定義；
當(dāng)前運(yùn)行的工作流實(shí)例，包括實(shí)例的狀態(tài)和變量；
Oozie工作流是放置在控制依賴DAG中的一組動(dòng)作，其中指定了動(dòng)作執(zhí)行的順序；
Ambari：可視化集群管理工具
部署、啟動(dòng)、監(jiān)控、查看、關(guān)閉Hadoop集群，可視化監(jiān)控、運(yùn)維、告警；
Ambari主要由兩部分組成：
Ambari Server；
Ambari Client；
用戶通過Ambari Server通知Ambari Agent安裝對(duì)應(yīng)的軟件，Ambari Agent會(huì)定時(shí)地發(fā)送各個(gè)機(jī)器每個(gè)軟件模塊的狀態(tài)給Ambari Server，最終這些狀態(tài)信息會(huì)呈現(xiàn)在Ambari的GUI，方便用戶了解到集群的各種狀態(tài)，并進(jìn)行相應(yīng)的維護(hù)；
Kafka：分布式消息總線
Kafka是一個(gè)低延遲高吞吐的分布式消息隊(duì)列，適用于離線和在線消息消費(fèi)，用于低延遲地收集和發(fā)送大量的事件和日志數(shù)據(jù)；
消息隊(duì)列(Message Queue)用于將消息生產(chǎn)的前端和后端服務(wù)架構(gòu)解耦，它是一種pub-sub結(jié)構(gòu)，前端消息生產(chǎn)者不需要知道后端消息消費(fèi)者的情況，只需要將消息發(fā)布到消息隊(duì)列中，且只用發(fā)布一次，即可認(rèn)為消息已經(jīng)被可靠存儲(chǔ)了，不用再維護(hù)消息的一致性和持久化，同時(shí)消息只傳輸一次就可以給后端多個(gè)消費(fèi)者，避免了每個(gè)消費(fèi)者都直接去前端獲取造成的前端服務(wù)器計(jì)算資源和帶寬的浪費(fèi)，甚至影響生產(chǎn)環(huán)境；
消息隊(duì)列分為以下幾種角色：
Producer：生產(chǎn)者，即消息生產(chǎn)者，比如實(shí)時(shí)信令數(shù)據(jù)；
Consumer: 消費(fèi)者，即消息的消費(fèi)者，比如后端的實(shí)時(shí)統(tǒng)計(jì)程序和批量挖掘程序；
Consumer Group:消費(fèi)者組，即消費(fèi)者的并發(fā)單位，在數(shù)據(jù)量比較大的時(shí)候，需要分布式集群來處理消息，針對(duì)同一種消息，一組消費(fèi)者各自消費(fèi)某一Topic（話題，代表一些消息，Topic 是一個(gè)邏輯單位，一個(gè) Topic 被劃分成 N 個(gè) Partition，在數(shù)據(jù)量大的時(shí)候通過 Partition 來實(shí)現(xiàn)分布式傳輸）的一部分，來協(xié)作處理；
Broker：存儲(chǔ)節(jié)點(diǎn)，Kafka支持將消息進(jìn)行短暫的持久化，比如存儲(chǔ)最近一周的數(shù)據(jù)，以便下游集群故障時(shí)，重新訂閱之前丟失的數(shù)據(jù)。
在Kafka中，Producer自動(dòng)通過Zookeeper獲取到Broker列表，通過Partition算法自動(dòng)負(fù)載均衡將消息發(fā)送到Broker集群。Broker 收到消息后自動(dòng)分發(fā)到副本 Broker 上保證消息的可靠性。下游消費(fèi)者通過 Zookeeper獲取Broker集群位置和Topic等信息，自動(dòng)完成訂閱消費(fèi)等動(dòng)作。
Kerberos & Ranger：安全加固
Kerberos：
通過密鑰系統(tǒng)為客戶機(jī)/服務(wù)器應(yīng)用程序提供強(qiáng)大的認(rèn)證服務(wù)；
Apache Ranger：
集中式安全管理框架，并解決授權(quán)和審計(jì)；
身份驗(yàn)證（Authentication）：基于Kerberos的用戶、服務(wù)身份驗(yàn)證；
統(tǒng)一賬戶（Account）：使用統(tǒng)一應(yīng)用賬號(hào)訪問平臺(tái)眾多服務(wù)；
訪問授權(quán)（Authorization）：基于Ranger的精細(xì)粒度訪問權(quán)限；
操作審計(jì)（Audit）：基于Ranger的集中式審計(jì)日志；
DBaaS：開箱即用的關(guān)系型數(shù)據(jù)庫服務(wù)
MySQL高可用：
主從復(fù)制：
一主一從 + Keepalived + VRRP（(Virtual Router Redundancy Protocol，虛擬路由冗余協(xié)議）：
Keepalived：
Keepalived是一個(gè)基于VRRP協(xié)議來實(shí)現(xiàn)的LVS服務(wù)高可用方案，可以利用其來避免單點(diǎn)故障。一個(gè)LVS服務(wù)會(huì)有2臺(tái)服務(wù)器運(yùn)行Keepalived，一臺(tái)為主服務(wù)器（MASTER），一臺(tái)為備份服務(wù)器（BACKUP），但是對(duì)外表現(xiàn)為一個(gè)虛擬IP，主服務(wù)器會(huì)發(fā)送特定的消息給備份服務(wù)器，當(dāng)備份服務(wù)器收不到這個(gè)消息的時(shí)候，即主服務(wù)器宕機(jī)的時(shí)候， 備份服務(wù)器就會(huì)接管虛擬IP，繼續(xù)提供服務(wù)，從而保證了高可用性。
VRRP：
解決靜態(tài)路由單點(diǎn)故障問題，VRRP通過一競(jìng)選(election)協(xié)議來動(dòng)態(tài)的將路由任務(wù)交給LAN中虛擬路由器中的某臺(tái)VRRP路由器。
采用一主一從構(gòu)建高可用MySQL服務(wù)，當(dāng)主機(jī)宕機(jī)時(shí)，可以自動(dòng)觸發(fā)主從節(jié)點(diǎn)切換。通過使用VIP + Keepalived組件，實(shí)現(xiàn)主從切換時(shí)MySQL服務(wù)IP自動(dòng)漂移，主從庫自動(dòng)切換。
MHA（一主一從一只讀）+ Keepalived + VRRP：
MHA由兩部分組成：MHA Manager（管理節(jié)點(diǎn)）和MHA Node（數(shù)據(jù)節(jié)點(diǎn)）。MHA Manager可以單獨(dú)部署在一臺(tái)獨(dú)立的機(jī)器上管理多個(gè)master-slave集群，也可以部署在一臺(tái)slave節(jié)點(diǎn)上。MHA Node運(yùn)行在每臺(tái)MySQL服務(wù)器上，MHA Manager會(huì)定時(shí)探測(cè)集群中的master節(jié)點(diǎn)，當(dāng)master出現(xiàn)故障時(shí)，它可以自動(dòng)將最新數(shù)據(jù)的slave提升為新的master，然后將所有其他的slave重新指向新的master。整個(gè)故障轉(zhuǎn)移過程對(duì)應(yīng)用程序完全透明。
CssS：提供標(biāo)準(zhǔn)化的容器技術(shù)和容器管理方案，支撐無狀態(tài)應(yīng)用的標(biāo)準(zhǔn)化打包和部署
Docker：開源應(yīng)用容器引擎
Docker是Docker公司開源的一個(gè)基于輕量級(jí)虛擬化技術(shù)的容器引擎項(xiàng)目,整個(gè)項(xiàng)目 基于 Go 語言開發(fā)，并遵從 Apache 2.0 協(xié)議；
當(dāng)前，Docker可以在容器內(nèi)部快速自動(dòng)化部署應(yīng)用，并可以通過內(nèi)核虛擬化技術(shù) (namespaces及cgroups等) 來提供容器的資源隔離與安全保障等；
Docker通過操作系統(tǒng)層的虛擬化實(shí)現(xiàn)隔離，所以Docker容器在運(yùn)行時(shí)，不需要類似 虛擬機(jī)(VM)額外的操作系統(tǒng)開銷，提高資源利用率，并且提升諸如I/O等方面的性能；
Docker徹底釋放了虛擬化的潛力和威力，極大降低了云計(jì)算資源供應(yīng)的成本，同時(shí)讓業(yè)務(wù)應(yīng)用的開發(fā)、測(cè)試、部署都變得前所未有敏捷、高效和輕松；
Kubernetes：容器集群管理系統(tǒng)
Kubernetes是Google開源的容器集群管理系統(tǒng)，其提供應(yīng)用部署、維護(hù)、 擴(kuò)展機(jī)制等功能，利用Kubernetes能方便地管理跨機(jī)器運(yùn)行容器化的應(yīng)用，其主要功能如下：
使用Docker對(duì)應(yīng)用程序包裝(package)、實(shí)例化(instantiate)、運(yùn)行(run)；
以集群的方式運(yùn)行、管理跨機(jī)器的容器；
解決Docker跨機(jī)器容器之間的通訊問題；
Kubernetes的自我修復(fù)機(jī)制使得容器集群總是運(yùn)行在用戶期望的狀態(tài)；
DevOps：開發(fā)運(yùn)維一體化
第一階段：核心實(shí)踐和試點(diǎn)；
第二階段：持續(xù)集成和測(cè)試；
第三階段：持續(xù)部署和交付；
第四階段：持續(xù)運(yùn)維；
第五階段：持續(xù)評(píng)估改進(jìn)；統(tǒng)一日志服務(wù)：提供多租戶安全的系統(tǒng)、應(yīng)用海量日志分析、交互式查詢和可視化
核心能力：
規(guī)劃構(gòu)建的統(tǒng)一日志平臺(tái)核心能力包括：
多租戶安全：支持多租戶端到端業(yè)務(wù)日志的存儲(chǔ)、分析、可視化能力，支持多租戶數(shù)據(jù)安全；
分析挖掘能力：通過Elasticsearch的結(jié)構(gòu)化查詢，實(shí)現(xiàn)復(fù)雜的多維度聯(lián)合查詢及數(shù)據(jù)聚合，深度挖掘日志數(shù)據(jù)；
可視化能力：支持圖表可視化呈現(xiàn)分析結(jié)果，支持Dashboard實(shí)時(shí)監(jiān)控關(guān)鍵指標(biāo)；
Filebeat：
輕量級(jí)的日志采集器，部署于應(yīng)用側(cè)，負(fù)責(zé)實(shí)時(shí)采集日志；
Logstash：
負(fù)責(zé)日志解析和轉(zhuǎn)發(fā)，靈活的正則配置可同時(shí)處理不同數(shù)據(jù)結(jié)構(gòu)的日志，并寫入Elasticsearch不同索引；
Kafka：
分布式消息隊(duì)列，在Filebeat和Logstash中引入分布式消息隊(duì)列Kafka，可以從容的應(yīng)對(duì)峰值數(shù)據(jù)的高負(fù)載，并且在Logstash出現(xiàn)故障時(shí)，具備良好的恢復(fù)能力，可直接從Kafka做數(shù)據(jù)回放，避免回溯至若干上游應(yīng)用；
Elasticsearch：
負(fù)責(zé)日志（原始數(shù)據(jù)、分析數(shù)據(jù)）的存儲(chǔ)、索引和搜索，是實(shí)時(shí)分析數(shù)據(jù)流程的核心組件；
Kibana：
前端可視化工具，Elasticsearch的皮膚，結(jié)合Elasticsearch豐富的查詢邏輯，可定制多種圖表；
Linux命令行：
FTP、不同服務(wù)器之間、服務(wù)器與本地上傳/下載、進(jìn)程監(jiān)控、內(nèi)存監(jiān)控、JVM監(jiān)控、打包部署、Vim編輯、文件授權(quán)、審閱日志文件等等；
Bash腳本開發(fā)：
能夠閱讀并編寫簡(jiǎn)單的腳本；
Python：
能夠閱讀一般的Python腳本，深入后可學(xué)習(xí)爬蟲；
機(jī)器學(xué)習(xí)算法：
邏輯回歸算法；
基于特征的推薦算法；
分類算法；
聚類算法；
2、工具棧：
版本管理工具：Git，SVN；
JAVA開發(fā)IDE：Intellij IDEA；
項(xiàng)目構(gòu)建工具：Maven；
文本編輯器：Subline、NotePad等；
數(shù)據(jù)庫管理工具：Navicat、SQLite Free等；
終端仿真程序：SecureCRT、Xshell5等；
3、業(yè)務(wù)棧：
Tower化記錄：
做好任務(wù)的Tower化記錄，包括：
需求由來；
任務(wù)的具體描述；
解決問題的過程中關(guān)鍵細(xì)節(jié)記錄；
抄送給相關(guān)的項(xiàng)目負(fù)責(zé)人，并給出制定出解決問題的時(shí)間；
任務(wù)結(jié)論及相關(guān)解決方案文件的上傳；
CPS工作清單：
對(duì)于維護(hù)過程中出現(xiàn)的每一個(gè)相關(guān)問題，應(yīng)養(yǎng)成記錄的良好習(xí)慣，方便未來進(jìn)行整理和排查。因此建立DMP項(xiàng)目維護(hù)工作清單，對(duì)于維護(hù)項(xiàng)的類別、詳細(xì)描述、維護(hù)時(shí)間、維護(hù)耗時(shí)、處理結(jié)果、維護(hù)相關(guān)人員及對(duì)應(yīng)的Tower任務(wù)鏈接進(jìn)行記錄；
現(xiàn)有任務(wù)梳理：
梳理遺留任務(wù)清單并標(biāo)注優(yōu)先級(jí)；
評(píng)估還需要多少人天可以完成問題及Bug；
評(píng)估未來的運(yùn)維（不含新需求）每周需要投入的人力；
總結(jié)
- 上一篇： Lintcode: Unique Pat
- 下一篇： 企业微信的corpsecret在哪里？