Greenplum集群部署安装指南
目錄
一.官方安裝鏈接
二.Greemplum安裝文件下載
三.數(shù)據(jù)庫安裝步驟
1.準(zhǔn)備工作
(1)修改hostname
(2)關(guān)閉SELinux
(3)關(guān)閉防火墻
(4)配置/etc/hosts?
(5)修改內(nèi)核配置參數(shù)
(6)配置資源限制參數(shù)
(7)磁盤I/O設(shè)置
(8)IPC Object Removal
(9)SSH連接閾值
(10)同步系統(tǒng)時鐘
(11)創(chuàng)建用戶和用戶組
(12)創(chuàng)建swap文件
2.安裝Greenplum
(1)安裝gpdb
(2)設(shè)置免密登錄
(3)上創(chuàng)建hostlist、standby_seg_hosts、seg_only
(4)使用gpssh-exkeys打通所有服務(wù)器
(5)確認(rèn)安裝
3.創(chuàng)建數(shù)據(jù)存儲區(qū)
(1)在master機(jī)器上創(chuàng)建數(shù)據(jù)存儲區(qū)
(2)在stand by機(jī)器上創(chuàng)建數(shù)據(jù)存儲區(qū)
(3)在segment機(jī)器上創(chuàng)建數(shù)據(jù)存儲區(qū)
4.初始化數(shù)據(jù)庫
(1)創(chuàng)建初始化配置文件
(2)執(zhí)行安裝
(3)配置環(huán)境變量
(4)允許客戶端連接
四.Command Center安裝步驟
1.準(zhǔn)備工作
(1)修改配置文件
(2)安裝gpperfmon數(shù)據(jù)庫，以及為gpmon用戶創(chuàng)建密碼
(3)創(chuàng)建安裝目錄
2.安裝Greenplum CC
一.官方安裝鏈接
Greenplum
Configuring Your Systems | Pivotal Greenplum Docs
Greenplun Command Center
Installing and Upgrading Pivotal Greenplum Command Center | Tanzu? Greenplum GPCC Docs
二.Greemplum安裝文件下載
Greenplum - greenplum-db-6.11.1-rhel7-x86_64.rpm
https://download.csdn.net/download/qq_29120661/34674895
Greenplum?Command Center - greenplum-cc-web-6.3.0-gp6-rhel7-x86_64.zip
https://download.csdn.net/download/qq_29120661/34675048
三.數(shù)據(jù)庫安裝步驟
1.準(zhǔn)備工作
(1)修改hostname
命名規(guī)則：
主機(jī)：mdw
stand by: smdw
sgement：sdw1,sdw2,sdw3...
(2)關(guān)閉SELinux
使用下面命令，查看狀態(tài)
sestatus如果不是SELinuxstatus: disabled，則需要手動關(guān)閉
Shell復(fù)制代碼
vi /etc/selinux/config SELINUX=disabled(3)關(guān)閉防火墻
查看防火墻狀態(tài)
如果是iptables，則執(zhí)行
關(guān)閉防火墻
service iptables stop永久關(guān)閉防火墻
chkconfig iptables off如果是firewalld，則執(zhí)行
systemctl status firewalld關(guān)閉防火墻
systemctl stop firewalld.service systemctl disable firewalld.service(4)配置/etc/hosts?
每一臺都要配置
vim /etc/hosts192.168.xxx.1 mdw192.168.xxx.2 smdw192.168.xxx.3 sdw1192.168.xxx.4 sdw2192.168.xxx.5 sdw3192.168.xxx.6 sdw4(5)修改內(nèi)核配置參數(shù)
每一臺都要配置（如果所有節(jié)點(diǎn)配置相同，可以先配置主機(jī)，配置好后分發(fā)到各個節(jié)點(diǎn)中）
執(zhí)行g(shù)etconf _PHYS_PAGES獲取系統(tǒng)的_PHYS_PAGES
執(zhí)行g(shù)etconf PAGE_SIZE獲取系統(tǒng)的PAGE_SIZE
vim /etc/sysctl.conf
保存文件后，執(zhí)行下面命令
awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo >> /etc/sysctl.conf執(zhí)行命令使之生效
sysctl -p(6)配置資源限制參數(shù)
每一臺都要配置
vim ?/etc/security/limits.conf
(7)磁盤I/O設(shè)置
每一臺都要配置
先執(zhí)行
查看磁盤信息
針對每一塊磁盤，執(zhí)行
由于每次重啟都需要重新執(zhí)行上述命令，所以可以將上面的命令添加到/etc/rc.d/rc.local文件中每次開機(jī)自動執(zhí)行
添加后賦予一下權(quán)限
執(zhí)行下面兩條命令以修改磁盤IO調(diào)度設(shè)置和禁用THP提升性能
grubby --update-kernel=ALL --args="elevator=deadline" grubby --update-kernel=ALL --args="transparent_hugepage=never"執(zhí)行完成后，重啟一下系統(tǒng)以生效
(8)IPC Object Removal
每一臺都要配置
vim /etc/systemd/logind.conf
修改完成后重啟logind生效
service systemd-logind restart(9)SSH連接閾值
每一臺都要配置
vim /etc/ssh/sshd_config
修改完成后重啟sshd生效
service sshd restart(10)同步系統(tǒng)時鐘
每一臺都要配置
在mdw上，vim?/etc/ntp.conf文件。設(shè)置服務(wù)器指向數(shù)據(jù)中心的NTP時間服務(wù)器的參數(shù)。例如（如果?10.6.220.20?是您的數(shù)據(jù)中心NTP服務(wù)器的IP地址）
在mdw上，vim?/etc/ntp.conf
server 10.6.220.20在smdw上，vim?/etc/ntp.conf
server mdw prefer server 10.6.220.20在所有的sdw上，vim?/etc/ntp.conf
server mdw prefer server smdw設(shè)置好后，執(zhí)行下面命令同步ntp(這一步先忽略，安裝好gpssh后再執(zhí)行)
gpssh -f ./hostlist -v -e 'ntpd'(11)創(chuàng)建用戶和用戶組
每一臺都要配置
groupadd gpadmin useradd gpadmin -r -m -g gpadmin passwd gpadmin輸入密碼
生成gpadmin的ssh密鑰
一路回車即可
為gpadmin用戶授予sudo訪問權(quán)限
執(zhí)行visudo
分配gpadmin到此組
usermod -aG wheel gpadmin(12)創(chuàng)建swap文件
先確認(rèn)服務(wù)器是否存在swap文件或分區(qū)，如果已存在，則跳過以下步驟
默認(rèn)大小等于機(jī)器ram大小
每一臺都要配置，使用root賬戶執(zhí)行
2.安裝Greenplum
(1)安裝gpdb
每一臺都要配置
將安裝包分發(fā)至每一臺服務(wù)器的/home路徑下，使用root用戶執(zhí)行
yum install ./greenplum-db-6.11.1-rhel7-x86_64.rpm安裝完成后，修改安裝文件的owner
chown -R gpadmin:gpadmin /usr/local/greenplum*(2)設(shè)置免密登錄
只在mdw上執(zhí)行
切換到dbadmin執(zhí)行下列操作
su gpadmin應(yīng)用環(huán)境變量
source /usr/local/greenplum-db/greenplum_path.sh使用ssh-copy-id命令將gpadmin公鑰分發(fā)到其他服務(wù)器上實(shí)現(xiàn)免密登錄
ssh-copy-id smdw ssh-copy-id sdw1 ssh-copy-id sdw2 ssh-copy-id sdw3 ...(3)上創(chuàng)建hostlist、standby_seg_hosts、seg_only
只在mdw上執(zhí)行
創(chuàng)建目錄/home/gpadmin/conf
在該路徑下創(chuàng)建hostlist、standby_seg_hosts、seg_only
hostlist 中填寫所有節(jié)點(diǎn)的主機(jī)別名
mdw smdw sdw1 sdw2 ...standby_seg_hosts中填寫stand by節(jié)點(diǎn)和所有Segment的主機(jī)別名
smdw sdw1 sdw2 ...seg_only中只填寫所有Segment的主機(jī)別名
sdw1 sdw2 ...(4)使用gpssh-exkeys打通所有服務(wù)器
只在mdw上執(zhí)行
gpssh-exkeys -f hostlist這樣，我們后續(xù)就可以通過gpssh命令在主機(jī)上同時遠(yuǎn)程操控segment機(jī)器了
注意了，前面有一個同步ntp的命令還沒有執(zhí)行，這個時候可以執(zhí)行下了（在mdw上執(zhí)行即可）：
gpssh -f ./hostlist -v -e 'ntpd'(5)確認(rèn)安裝
在mdw機(jī)器上登錄gpadmin賬戶，執(zhí)行命令
gpssh -f hostlist -e 'ls -l /usr/local/greenplum-db'如果上面步驟都執(zhí)行正確，此時能夠正確登錄到各個節(jié)點(diǎn)上，并看到安裝好的數(shù)據(jù)庫目錄
3.創(chuàng)建數(shù)據(jù)存儲區(qū)
(1)在master機(jī)器上創(chuàng)建數(shù)據(jù)存儲區(qū)
Master不存儲user data，僅有system catalog tables和system metadata
在mdw上使用root用戶創(chuàng)建
mkdir -p /data/master chown gpadmin:gpadmin /data/master(2)在stand by機(jī)器上創(chuàng)建數(shù)據(jù)存儲區(qū)
如果存在smdw，則在mdw上使用gpadmin用戶執(zhí)行
source /usr/local/greenplum-db/greenplum_path.sh gpssh -h smdw -e 'sudo mkdir -p /data/master' gpssh -h smdw -e 'sudo chown gpadmin:gpadmin /data/master'(3)在segment機(jī)器上創(chuàng)建數(shù)據(jù)存儲區(qū)
在mdw上使用gpadmin用戶執(zhí)行
source /usr/local/greenplum-db/greenplum_path.sh gpssh -f /home/gpadmin/conf/seg_only -e 'sudo mkdir -p /data/primary;mkdir -p /data/mirror' #針對一臺機(jī)器上多segment的部署方式，根據(jù)每臺機(jī)器的segment數(shù)量，創(chuàng)建對應(yīng)的存儲目錄 gpssh -f /home/gpadmin/conf/seg_only -e 'sudo mkdir -p /data1/primary;mkdir -p /data1/mirror' gpssh -f /home/gpadmin/conf/seg_only -e 'sudo mkdir -p /data2/primary;mkdir -p /data2/mirror' #...... gpssh -f /home/gpadmin/conf/seg_only -e 'sudo chown -R gpadmin:gpadmin /data*'4.初始化數(shù)據(jù)庫
(1)創(chuàng)建初始化配置文件
在mdw上使用gpadmin用戶執(zhí)行
su gpadmin mkdir /home/gpadmin/gpconfigs vim /home/gpadmin/gpconfigs/gpinitsystem_config #數(shù)據(jù)庫代號 ARRAY_NAME="Greenplum Data Platform"#segment前綴 SEG_PREFIX=gpseg#primary segment 起始的端口號 PORT_BASE=40000#指定primary segment的數(shù)據(jù)目錄 declare -a DATA_DIRECTORY=(/data/primary) #如果每臺機(jī)器上有多個segment #declare -a DATA_DIRECTORY=(/data/primary /data1/primary /data2/primary ...)#master所在機(jī)器的host name MASTER_HOSTNAME=mdw#master的數(shù)據(jù)目錄 MASTER_DIRECTORY=/data/master#master的端口 MASTER_PORT=5432#指定bash的版本 TRUSTED_SHELL=ssh#將日志寫入磁盤的間隔，每個段文件通常 =16MB < 2 * CHECK_POINT_SEGMENTS + 1 CHECK_POINT_SEGMENTS=8#字符集 ENCODING=UNICODE#mirror segment 起始的端口號 MIRROR_PORT_BASE=50000#mirror的數(shù)據(jù)目錄，和主數(shù)據(jù)目錄對應(yīng) declare -a MIRROR_DATA_DIRECTORY=(/data/mirror) #如果每臺機(jī)器上有多個segment #declare -a MIRROR_DATA_DIRECTORY=(/data/mirror /data1/mirror /data2/mirror ...)#segment機(jī)器列表 MACHINE_LIST_FILE=/home/gpadmin/conf/seg_only(2)執(zhí)行安裝
在mdw上使用gpadmin用戶執(zhí)行
如果存在stand by機(jī)器，則執(zhí)行
gpinitsystem -c /home/gpadmin/gpconfigs/gpinitsystem_config -h /home/gpadmin/conf/seg_only -s smdw如果沒有stand by機(jī)器，則執(zhí)行
gpinitsystem -c /home/gpadmin/gpconfigs/gpinitsystem_config -h /home/gpadmin/conf/seg_only(3)配置環(huán)境變量
在mdw上使用gpadmin用戶執(zhí)行
vi ~/.bashrc在文件尾添加
source /usr/local/greenplum-db/greenplum_path.sh export MASTER_DATA_DIRECTORY=/data/master/gpseg-1 #默認(rèn)登錄使用的端口號 export PGPORT=5432 #默認(rèn)登錄使用的用戶 export PGUSER=gpadmin #默認(rèn)登錄使用的數(shù)據(jù)庫 export PGDATABASE=postgres #如果服務(wù)器使用的系統(tǒng)是RHEL 7或CentOS 7，需要增加下面的配置 export LD_PRELOAD=/lib64/libz.so.1 ps保存并source一下
source ~/.bashrc如果存在stand by機(jī)器，需將配置文件復(fù)制到stand by機(jī)器
cd ~ scp .bashrc smdw:`pwd`(4)允許客戶端連接
在mdw上使用gpadmin用戶執(zhí)行
psql如果前面的配置正確，則會免密登錄到Greenplum數(shù)據(jù)庫
修改一下gpadmin的密碼
alter role gpadmin with password 'gpadmin';退出數(shù)據(jù)庫，在mdw機(jī)器上使用gpadmin用戶執(zhí)行
vim $MASTER_DATA_DIRECTORY/pg_hba.conf末尾添加一行
#ADDRESS可以根據(jù)實(shí)際情況修改成對應(yīng)的ip段 #連接方式 連接的數(shù)據(jù)庫 連接的用戶 連接的主機(jī)IP 認(rèn)證方式 host all gpadmin all md5執(zhí)行命令使配置生效
gpstop -u可以使用外部客戶端工具或開發(fā)平臺數(shù)據(jù)源測試是否配置成功。
四.Command Center安裝步驟
1.準(zhǔn)備工作
(1)修改配置文件
在mdw上使用gpadmin用戶執(zhí)行
編輯postgresql.conf文件
vim $MASTER_DATA_DIRECTORY/postgresql.conf文件末尾添加或修改
gp_enable_gpperfmon=on gpperfmon_port=8888 gp_external_enable_exec=on gpperfmon_log_alert_level=warning編輯pg_hba.conf文件
vim $MASTER_DATA_DIRECTORY/pg_hba.conf文件末尾添加
local gpperfmon gpmon md5 host all gpmon 127.0.0.1/28 md5(2)安裝gpperfmon數(shù)據(jù)庫，以及為gpmon用戶創(chuàng)建密碼
在mdw上使用gpadmin用戶執(zhí)行
gpperfmon_install --enable --password gpmon --port 5432重啟數(shù)據(jù)庫
gpstop -r檢查gp監(jiān)控是否啟動
ps -ef | grep gpmmon檢查gp監(jiān)控是否監(jiān)測到greenplum集群中的每臺主機(jī)
psql -d 'gpperfmon' -c 'select * from system_now;'(3)創(chuàng)建安裝目錄
在mdw上使用gpadmin用戶執(zhí)行
source /usr/local/greenplum-db/greenplum_path.sh gpssh -f /home/gpadmin/conf/hostlist 'sudo mkdir -p /usr/local/greenplum-cc-6.3.0;sudo chown -R gpadmin:gpadmin /usr/local/greenplum-cc-6.3.0' gpssh -f /home/gpadmin/conf/hostlist 'sudo ln -s /usr/local/greenplum-cc-6.3.0 /usr/local/greenplum-cc;sudo chown -R gpadmin:gpadmin /usr/local/greenplum-cc'2.安裝Greenplum CC
在mdw上使用root用戶執(zhí)行
將文件上傳到/home目錄下并解壓縮，修改owner
unzip /home/greenplum-cc-web-6.3.0-gp6-rhel7-x86_64.zip mv /home/greenplum-cc-web-6.3.0-gp6-rhel7-x86_64 /home/greenplum-cc chown -R gpadmin:gpadmin /home/greenplum-cc切換到gpadmin用戶執(zhí)行安裝命令
su gpadmin /home/greenplum-cc/gpccinstall-6.3.0執(zhí)行安裝過程中會提示安裝路徑、端口等，如無特殊要求推薦使用默認(rèn)設(shè)置
安裝完成后，配置環(huán)境變量
vi ~/.bashrc末尾增加一行
source /usr/local/greenplum-cc/gpcc_path.sh保存并source一下
source ~/.bashrc將gpadmin下的.bashrc文件以gpadmin用戶的身份分配到除master之外的機(jī)器上
gpscp -f /home/gpadmin/conf/standby_seg_hosts ~/.bashrc =:~執(zhí)行命令啟動監(jiān)控服務(wù)
gpcc start如果存在stand by機(jī)器
登錄到smdw上，將主機(jī)的pgpass文件拷貝過來
安裝完成后，便可以登錄http://mdwIP:28080查看監(jiān)控了，2賬戶為gpmon，密碼為四-1-(2)章節(jié)中預(yù)設(shè)的密碼。
總結(jié)
以上是生活随笔為你收集整理的Greenplum集群部署安装指南的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： EasyCVR平台基于萤石云SDK接入的
- 下一篇： 常用RGB颜色表