大數據比賽需要用到的命令

1.修改主機名

在master執行

hostnamectl set-hostname master

立即生效：

bash

修改slave1和slave2的

hostnamectl set-hostname slave1

hostnamectl set-hostname slave2

2.配置本地源

將本地源文件下載到/etc/yum.repos.d/目錄下或者已有本地源，可以不做這一部分

?進入yum源配置文件

cd /etc/yum.repos.d

刪除所有文件

rm -rf ???*

下載yum源或者本地已有源

wget http://ip地址/bigdata.repo

清除YUM緩存

yum clean all

?配置hosts文件

根據賽題設置為master、slave1、slave2。

vim/etc/hosts

ip1 master

ip2?slave1

ip3 slave2

3.關閉防火墻

systemctl stop firewalld

查看狀態

systemctl status firewalld

4.時間同步

echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile && source /etc/profile

查看時區 timedatectl | grep "Time zone"

5.安裝ntp

yum install -y ntp

master作為ntp服務器

修改ntp配置文件

屏蔽掉默認的server，設置master作為時鐘源，設置時間服務器的層級為10。

vim /etc/ntp.conf

#注釋掉server 0 ~ n，新增

server? 127.127.1.0

fudge? 127.127.1.0?stratum 10

重啟ntp服務(master上執行)

/bin/systemctl restart ntpd.service

slave1，slave2操作

ntpdate master

6.制作定時任務

crontab -e

輸入i

添加定時任務

*/30 8-17 * * */usr/sbin/ntpdate master?早8晚五時間段每隔半個小時同步

*/10?*?* * */usr/sbin/ntpdate master?每隔10分鐘同步一次

*/30 10-17 * * */usr/sbin/ntpdate master?早十晚五時間段每隔半個小時同步

查看定時任務列表

crontab –l

7.配置ssh免密

在master上執行如下命令生成rsa或者dsa公私密鑰：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

或者

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

公鑰文添加到授權文件

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

或者

cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

授權文件發送到slave1，slave2

scp ~/.ssh/authorized_keysroot@slave1:~/.ssh/

scp ~/.ssh/authorized_keysroot@slave2:~/.ssh/

8.java jdk安裝

建立工作路徑/usr/java

mkdir -p /usr/java

cd /usr/java

下載java安裝包(master上執行)或按比賽提示進入相應安裝包

wget http://ip/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/java/

rm -rf /usr/java/jdk-8u221-linux-x64.tar.gz

修改環境變量：

vim/etc/profile

添加內容如下：

export JAVA_HOME=/usr/java/jdk1.8.0_221

export CLASSPATH=$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

生效環境變量：

source /etc/profile

查看 java 版本：

java -version

在 master 中將安裝好的?JDK 復制到 slave1 和 slave2 中

scp -r /usr/java root@slave1:/usr/

scp -r /usr/java root@slave2:/usr/

基礎環境運維完畢。

總結

以上是生活随笔為你收集整理的大数据比赛笔记（一）基本环境配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。