大数据软件安装之Azkaban（任务调度）
一、安裝部署
1、安裝前準(zhǔn)備
1）下載地址:http://azkaban.github.io/downloads.html
2）將Azkaban Web服務(wù)器、Azkaban執(zhí)行服務(wù)器、Azkaban的sql執(zhí)行腳本及MySQL安裝包拷貝到hadoop102機器的/opt/software目錄下
azkaban-web-server-2.5.0.tar.gz
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
3）選擇Mysql作為Azkaban數(shù)據(jù)庫，因為Azkaban建立了一些Mysql連接增強功能，以方便Azkaban設(shè)置，并增強服務(wù)可靠性。
2、安裝Azkaban
1）在/opt/module/目錄下創(chuàng)建azkaban目錄
[test@hadoop102 module]$ mkdir azkaban
2）解壓
azkaban-web-server-2.5.0.tar.gz、
azkaban-executor-server-2.5.0.tar.gz、
azkaban-sql-script-2.5.0.tar.gz到/opt/module/azkaban目錄下
[test@hadoop102 software]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/
[test@hadoop102 software]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /opt/module/azkaban/
[test@hadoop102 software]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /opt/module/azkaban/
3）對解壓后的文件重新命名
[test@hadoop102 azkaban]$ mv azkaban-web-2.5.0/ server
[test@hadoop102 azkaban]$ mv azkaban-executor-2.5.0/ executor
4）azkaban腳本導(dǎo)入
進(jìn)入mysql，創(chuàng)建azkaban數(shù)據(jù)庫，并將解壓的腳本導(dǎo)入到azkaban數(shù)據(jù)庫。
[test@hadoop102 azkaban]$ mysql -uroot -p000000
mysql> create database azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;
注：source后跟.sql文件，用于批量處理.sql文件中的sql語句。
3、生成密鑰庫
Keytool是java數(shù)據(jù)證書的管理工具，使用戶能夠管理自己的公/私鑰對及相關(guān)證書。
-keystore 指定密鑰庫的名稱及位置(產(chǎn)生的各類信息將不在.keystore文件中)
-genkey 在用戶主目錄中創(chuàng)建一個默認(rèn)文件".keystore"
-alias 對我們生成的.keystore 進(jìn)行指認(rèn)別名；如果沒有默認(rèn)是mykey
-keyalg 指定密鑰的算法 RSA/DSA 默認(rèn)是DSA
1）生成keystore的密碼及相應(yīng)信息的密鑰庫
[test@hadoop102 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA
輸入密鑰庫口令:
再次輸入新口令:
您的名字與姓氏是什么?
[Unknown]:
您的組織單位名稱是什么?
[Unknown]:
您的組織名稱是什么?
[Unknown]:
您所在的城市或區(qū)域名稱是什么?
[Unknown]:
您所在的省/市/自治區(qū)名稱是什么?
[Unknown]:
該單位的雙字母國家/地區(qū)代碼是什么?
[Unknown]:
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正確?
[否]: y
輸入 <jetty> 的密鑰口令
(如果和密鑰庫口令相同, 按回車):
再次輸入新口令:
注意：
密鑰庫的密碼至少必須6個字符，可以是純數(shù)字或者字母或者數(shù)字和字母的組合等等
密鑰庫的密碼最好和<jetty> 的密鑰相同，方便記憶
2）將keystore拷貝到azkaban web服務(wù)器根目錄中
[test@hadoop102 azkaban]$ mv keystore /opt/module/azkaban/server/
4、時間同步配置
先配置好服務(wù)器節(jié)點上的時區(qū)
1）如果在/usr/share/zoneinfo/這個目錄下不存在時區(qū)配置文件Asia/Shanghai，就要用 tzselect 生成。
[test@hadoop102 azkaban]$ tzselect
Please identify a location so that time zone rules can be set correctly.
Please select a continent or ocean.
1) Africa
2) Americas
3) Antarctica
4) Arctic Ocean
5) Asia
6) Atlantic Ocean
7) Australia
8) Europe
9) Indian Ocean
10) Pacific Ocean
11) none - I want to specify the time zone using the Posix TZ format.
#? 5
Please select a country.
1) Afghanistan 18) Israel 35) Palestine
2) Armenia 19) Japan 36) Philippines
3) Azerbaijan 20) Jordan 37) Qatar
4) Bahrain 21) Kazakhstan 38) Russia
5) Bangladesh 22) Korea (North) 39) Saudi Arabia
6) Bhutan 23) Korea (South) 40) Singapore
7) Brunei 24) Kuwait 41) Sri Lanka
8) Cambodia 25) Kyrgyzstan 42) Syria
9) China 26) Laos 43) Taiwan
10) Cyprus 27) Lebanon 44) Tajikistan
11) East Timor 28) Macau 45) Thailand
12) Georgia 29) Malaysia 46) Turkmenistan
13) Hong Kong 30) Mongolia 47) United Arab Emirates
14) India 31) Myanmar (Burma) 48) Uzbekistan
15) Indonesia 32) Nepal 49) Vietnam
16) Iran 33) Oman 50) Yemen
17) Iraq 34) Pakistan
#? 9
Please select one of the following time zone regions.
1) Beijing Time
2) Xinjiang Time
#? 1
The following information has been given:
China
Beijing Time
Therefore TZ='Asia/Shanghai' will be used.
Local time is now: Thu Oct 18 16:24:23 CST 2018.
Universal Time is now: Thu Oct 18 08:24:23 UTC 2018.
Is the above information OK?
1) Yes
2) No
#? 1
You can make this change permanent for yourself by appending the line
TZ='Asia/Shanghai'; export TZ
to the file '.profile' in your home directory; then log out and log in again.
Here is that TZ value again, this time on standard output so that you
can use the /usr/bin/tzselect command in shell scripts:
Asia/Shanghai
2）拷貝該時區(qū)文件，覆蓋系統(tǒng)本地時區(qū)配置
[test@hadoop102 azkaban]$ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
二、配置文件
1、web服務(wù)器配置
1）進(jìn)入azkaban web 服務(wù)器的安裝目錄 conf ，打開azkaban.properties文件
[test@hadoop102 conf]$ pwd
/opt/module/azkaban/server/conf
[test@hadoop102 conf]$ vimazkaban.properties
按照如下配置修改azkaban.properties文件
#Azkaban Personalization Settings
#服務(wù)器UI名稱,用于服務(wù)器上方顯示的名字
azkaban.name=Test
#描述
azkaban.label=My Local Azkaban
#UI顏色
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
#默認(rèn)web server存放web文件的目錄
web.resource.dir=/opt/module/azkaban/server/web/
#默認(rèn)時區(qū),已改為亞洲/上海默認(rèn)為美國
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
#用戶權(quán)限管理默認(rèn)類（絕對路徑）
user.manager.xml.file=/opt/module/azkaban/server/conf/azkaban-users.xml
#Loader for projects
#global配置文件所在位置（絕對路徑）
executor.global.properties=/opt/module/azkaban/executor/conf/global.properties
azkaban.project.dir=projects
#數(shù)據(jù)庫類型
database.type=mysql
#端口號
mysql.port=3306
#數(shù)據(jù)庫連接IP
mysql.host=hadoop102
#數(shù)據(jù)庫實例名
mysql.database=azkaban
#數(shù)據(jù)庫用戶名
mysql.user=root
#數(shù)據(jù)庫密碼
mysql.password=000000
#最大連接數(shù)
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties
# Jetty服務(wù)器屬性
#最大線程數(shù)
jetty.maxThreads=25
#Jetty SSL端口
jetty.ssl.port=8443
#Jetty端口
jetty.port=8081
#SSL文件名（絕對路徑）
jetty.keystore=/opt/module/azkaban/server/keystore
#SSL文件密碼
jetty.password=000000
#Jetty主密碼與keystore文件相同
jetty.keypassword=000000
#SSL文件名（絕對路徑）
jetty.truststore=/opt/module/azkaban/server/keystore
#SSL文件密碼
jetty.trustpassword=000000
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
2）web服務(wù)器用戶配置
在azkaban web服務(wù)器安裝目錄conf目錄，按照如下配置修改azkaban-users.xml文件，增加管理員用戶。
[test@hadoop102 conf]$ vim azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics"/>
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
2、執(zhí)行服務(wù)器配置
1）進(jìn)入執(zhí)行服務(wù)器安裝目錄conf，打開azkaban.properties
[test@hadoop102 conf]$ pwd
/opt/module/azkaban/executor/conf
[test@hadoop102 conf]$ vim azkaban.properties
2）按照如下配置修改azkaban.properties文件
#Azkaban
#時區(qū)
default.timezone.id=Asia/Shanghai
# Azkaban JobTypes Plugins
#jobtype 插件所在位置
azkaban.jobtype.plugin.dir=plugins/jobtypes
#Loader for projects
executor.global.properties=/opt/module/azkaban/executor/conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=root
mysql.password=000000
mysql.numconnections=100
# Azkaban Executor settings
#最大線程數(shù)
executor.maxThreads=50
#端口號(如修改,請與web服務(wù)中一致)
executor.port=12321
#線程數(shù)
executor.flow.threads=30
三、啟動訪問Azkaban web頁面
1、啟動executor服務(wù)器
在executor服務(wù)器目錄下執(zhí)行啟動命令
[test@hadoop102 executor]$ pwd
/opt/module/azkaban/executor
[test@hadoop102 executor]$ bin/azkaban-executor-start.sh
2、啟動web服務(wù)器
在azkaban web服務(wù)器目錄下執(zhí)行啟動命令
[test@hadoop102 server]$ pwd
/opt/module/azkaban/server
[test@hadoop102 server]$ bin/azkaban-web-start.sh
注意：
先執(zhí)行executor，再執(zhí)行web，避免Web Server會因為找不到執(zhí)行器啟動失敗。
jps查看進(jìn)程
[test@hadoop102 server]$ jps
3601 AzkabanExecutorServer
5880 Jps
3661 AzkabanWebServer
啟動完成后，在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務(wù)器IP地址:8443，即可訪問azkaban服務(wù)了。
在登錄中輸入剛才在azkaban-users.xml文件中新添加的戶用名及密碼，點擊login。
總結(jié)
以上是生活随笔為你收集整理的大数据软件安装之Azkaban（任务调度）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 不同权限访问详细细节
- 下一篇： 波浪号和Hyphen扩展