云計算

ELK自動安裝腳本

一、簡介

ELK由Elasticsearch、Logstash和Kibana三部分組件組成；

Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash是一個完全開源的工具，它可以對你的日志進行收集、分析，并將其存儲供以后使用

kibana 是一個開源和免費的工具，它可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日志。

二、核心組件

Logstash: logstash server端用來搜集日志；

Elasticsearch: 存儲各類日志；

Kibana: web化接口用作查尋和可視化日志；

Filebeat是一個日志文件托運工具，在你的服務器上安裝客戶端后，filebeat會監控日志目錄或者指定的日志文件，追蹤讀取這些文件（追蹤文件的變化，不停的讀），并且轉發這些信息到elasticsearch或者logstarsh中存放。

三、安裝腳本

注意：vim /etc/hosts 添加ip及主機名； 注意：服務器的內存如果服務器內存低的話會導致elasticsearch啟動不了；

自定義shell腳本名稱 vim Autoinstall_ELK_V1.3.sh 復制粘貼一下內容執行。

#!/bin/bash
#mail:lishilong@co-mall.com
#data:2019/1/9
#AutoInstallELKscripts
#Software:elasticsearch-5.4.1/logstash-5.4.1/filebeat-5.4.1/kibana-5.4.1
clear
echo"#############################################################################"
echo"#AutoInstallELK.##"
echo"#PressCtrl+Ctocancel##"
echo"#Anykeytocontinue##"
echo"#Softwae:elasticsearch-5.4.1/logstash-5.4.1/filebeat-5.4.1/kibana-5.4.1##"
echo"#############################################################################"
read-n1
software_dir="/usr/local/software"
elasticsearch_url="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz"
kibana_url="https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz"
logstash_url="https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz"
filebeat_url="https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz"
sys_version=`cat/etc/redhat-release|awk'{print$4}'|cut-d.-f1`
IP=`ipaddr|grep"inet"|grep-v127.0.0.1|awk'{print$2}'|cut-d/-f1`
jvm_conf="/usr/local/elasticsearch/config/jvm.options"
sys_mem=`free-m|grepMem:|awk'{print$2}'|awk'{sum+=$1}END{printsum/1024}'|cut-d.-f1`

#wgetsoftware
wget_fun(){
if[!-d${software_dir}];then
mkdir-p${software_dir}&&cd${software_dir}
else
cd${software_dir}
fi
forsoftwarein$elasticsearch_url$kibana_url$logstash_url$filebeat_url
do
wget-c$software
done
clear
}
#initialsystem:installjavawget;sethostname;disablefirewalld
init_sys(){
[-f/etc/init.d/functions]&&./etc/init.d/functions
["${sys_version}"!="7"]&&echo"Error:ThisScriptsSupportCentos7.xx"&&exit1
[$(id-u)!="0"]&&echo"Error:Youmustberoottorunthisscript"&&exit1
sed-i"s/SELINUX=enforcing/SELINUX=disabled/"/etc/selinux/config
setenforce0
yuminstall-yjava-1.8.0-openjdkwget
hostnamectlset-hostnameelk-server
systemctlstopfirewalld
cat>>/etc/security/limits.conf<<EOF
*softnofile65536
*hardnofile65536
*softnGproc65536
*hardnproc65536
EOF
}

#installelasticsearch
install_elasticsearch(){
cd$software_dir
tarzxfelasticsearch-5.4.1.tar.gz
mvelasticsearch-5.4.1/usr/local/elasticsearch
mkdir-p/usr/local/elasticsearch/data/usr/local/elasticsearch/logs
useraddelasticsearch
chown-Relasticsearch:elasticsearch/usr/local/elasticsearch
echo"vm.max_map_count=655360">>/etc/sysctl.conf&&sysctl-p
if[${sys_mem}-eq0];then
sed-i"s#`grep"^-Xmx"${jvm_conf}`#"-Xmx512m"#g"${jvm_conf}
sed-i"s#`grep"^-Xms"${jvm_conf}`#"-Xms512m"#g"${jvm_conf}
else
sed-i"s#`grep"^-Xmx"${jvm_conf}`#"-Xmx${sys_mem}g"#g"${jvm_conf}
sed-i"s#`grep"^-Xms"${jvm_conf}`#"-Xms${sys_mem}g"#g"${jvm_conf}
fi
cat>>/usr/local/elasticsearch/config/elasticsearch.yml<<EOF
cluster.name:my-application
node.name:elk-server
path.data:/usr/local/elasticsearch/data
path.logs:/usr/local/elasticsearch/logs
network.host:127.0.0.1
http.port:9200
discovery.zen.ping.unicast.hosts:["elk-server"]
EOF
su-elasticsearch-c"nohup/usr/local/elasticsearch/bin/elasticsearch&"
}

#installlogstash
install_logstash(){
cd$software_dir
tar-zxflogstash-5.4.1.tar.gz
mvlogstash-5.4.1/usr/local/logstash
cat>/usr/local/logstash/config/01-syslog.conf<<EOF
input{
beats{
port=>"5044"
}
}
output{
elasticsearch{
hosts=>"127.0.0.1:9200"
}
stdout{codec=>rubydebug}
}
EOF
nohup/usr/local/logstash/bin/logstash-f/usr/local/logstash/config/01-syslog.conf&>/dev/null
}

#installfilebeat
install_filebeat(){
cd$software_dir
tar-zxffilebeat-5.4.1-linux-x86_64.tar.gz
mvfilebeat-5.4.1-linux-x86_64/usr/local/filebeat
cat>/usr/local/filebeat/filebeat.yml<<EOF
filebeat.prospectors:
-input_type:log
paths:
-/var/log/*.log
output.logstash:
hosts:["127.0.0.1:5044"]
EOF
cd/usr/local/filebeat/
nohup/usr/local/filebeat/filebeat&>/dev/null
}

#installkibana
install_kibana(){
cd$software_dir
tar-zxfkibana-5.4.1-linux-x86_64.tar.gz
mvkibana-5.4.1-linux-x86_64/usr/local/kibana
cat>>/usr/local/kibana/config/kibana.yml<<EOF
server.port:5601
server.host:"0.0.0.0"
elasticsearch.url:"http://127.0.0.1:9200"
EOF
nohup/usr/local/kibana/bin/kibana&>/dev/null
}

check(){
port=$1
program=$2
check_port=`netstat-lntup|grep${port}|wc-l`
check_program=`ps-ef|grep${program}|grep-vgrep|wc-l`
if[$check_port-gt0]&&[$check_program-gt0];then
action"${program}runisok!"/bin/true
else
action"${program}runiserror!"/bin/false
fi
}

main(){
init_sys
wget_fun
install_elasticsearch
install_filebeat
install_logstash
install_kibana
echo-e"\\033[32mCheckingElasticsearch...\\033[0m"
sleep20
check:9200"elasticsearch"
echo-e"\\033[32mCheckingLogstash...\\033[0m"
sleep2
check":9600""logstash"
echo-e"\\033[32mCheckingKibana...\\033[0m"
sleep2
check":5601""kibana"
action"ELKinstallissuccess!"/bin/true
echo"url:http://$IP:5601"
}
main

四、腳本安裝

安裝完成訪問：http://IP:5601即可訪問;

五、配置

通過web界面訪問，創建index patterns;

六、查看日志與dashboard

配置完成！當你發現你的才華與目標相差甚遠的時候，不如安心的好好學習！

總結

以上是生活随笔為你收集整理的ELK自动部署脚本的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。