博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ELK搭建教程(全过程)
阅读量:4181 次
发布时间:2019-05-26

本文共 2916 字,大约阅读时间需要 9 分钟。

1.服务器

使用阿里云服务器(方便),抢占式实例(便宜),4核16G,系统选择centos7.4/64位(好用)。购买地址:

我们只是测试学习使用,把端口权限全开就行(不然外网访问不了),安全组配置那里添加如下:

2.下载ELK的包:

下载地址:

下载最新版的、linux服务器能使用的。

右键复制链接地址,wget就可以下载,如:wget 

下载完,解压,如:  tar -zxvf

有的需要使用unzip解压,需要使用: yum install unzip  下载安装unzip工具

弄完了如下图:

3.elasticsearch配置启动

先安装jdk1.8,在centos7.4里面,直接yum install tomcat就行,会自动安装好tomcat和jdk1.8,完了java -version看下版本:

解压后进入config目录:cd elasticsearch-6.4.2/config,vim elasticsearch.yml 修改配置文件,在最下面加入如下几行:

network.host: 0.0.0.0http.port: 9200http.cors.enabled: truehttp.cors.allow-origin: "*"

注意,root用户是不能直接启动elasticsearch的,需要新建用户,然后切换用户去启动elasticsearch,如下:

  • 创建elsearch用户组及elsearch用户

    1. groupadd elsearch

    2. useradd elsearch -g elsearch -p elasticsearch

  • 更改elasticsearch-6.4.2文件夹及内部文件的所属用户及组为elsearch:elsearch

    1. cd切换到elasticsearch-6.4.2的父路径下

    2. chown -R elsearch:elsearch elasticsearch-6.4.2

  • 切换到elsearch用户再启动

    1. su elsearch

    2. cd elasticsearch-6.4.2/bin

    3. sh elasticsearch &

至此,elasticsearch配置启动完毕,可以在浏览器输入url:   服务器外网ip:9200 查看是否成功启动:

4.kibana配置启动

按照上面的操作,可以先切回root用户了:su root     需要输入root密码

然后cd kibana-6.4.2-linux-x86_64/config/  进入kibana的配置文件夹,

 vim kibana.yml  编辑配置文件,在最后面加上如下配置就行:

server.port: 5601server.host: "0.0.0.0"elasticsearch.url: "http://localhost:9200"kibana.index: ".kibana"

cd命令进入bin目录,

sh kibana &   启动kibana

启动完毕,可以浏览器输入url:   服务器外网ip:5601 查看是否成功启动:

5.logstash配置启动

现在可以配置logstash了

cd logstash-6.4.2/bin/进入bin目录

新建文件 vim logstash1.conf ,写入内容(监听tomcat的日志):

input {    file {        path => "/usr/share/tomcat/logs/*.log"        start_position => beginning    }}filter {}output {    elasticsearch {    hosts => "localhost:9200"    }}

启动logstash:sh logstash -f logstash1.conf  &

如果提示--path.data的问题,则需要指定path.data的路径,随便找个路径就行,

我的是这样启动:sh logstash -f logstash1.conf  --path.data=/home/elk/logstash-6.4.2/logs &

完了可以看到kibana上面有logstash推送过去的日志了

logstash配置mysql数据同步到elasticsearch:我参考的()

获取 jdbc mysql 驱动:

wget https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.46.zip

unzip mysql-connector-java-5.1.46.zip

可以把解压后的mysql-connector-java-5.1.46-bin.jar复制到bin目录,方便启动

在bin目录新建配置文件    vim mysql-logstash.cnf ,写入:

input {  jdbc {    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"    jdbc_driver_class => "com.mysql.jdbc.Driver"    jdbc_connection_string => "jdbc:mysql://ip:3306/db_name"    jdbc_user => "jdbc_user"    jdbc_password => "jdbc_password"    schedule => "* * * * *"    statement => "SELECT * FROM table WHERE 时间字段 >= :sql_last_value"    use_column_value => true    tracking_column_type => "timestamp"    tracking_column => "时间字段"    last_run_metadata_path => "syncpoint_table"  }}output {  elasticsearch {    hosts => "localhost:9200"    index => "索引名称"    document_id => "%{主键字段}"  }}

需要先把logstash停了,在重启

netstat -ntlp  命令查看端口为9600的进程,

然后kill 线程id,我的是 kill 25437

 

使用命令 sh logstash -f mysql-logstash.cnf  --path.data=/home/elk/logstash-6.4.2/logs &

启动logstash

完了在kibana可以看到同步过去的数据,我的是这样的: 

 

至此,elk基本集成完毕!如果还有什么问题,都可以百度到解决方法的。

另外附上两个教程:

elasticsearch集成head插件查看es的数据:

kibana基础教程:

 

转载地址:http://krzoi.baihongyu.com/

你可能感兴趣的文章
在C++中如何实现模板函数的外部调用
查看>>
HTML5学习之——HTML 5 应用程序缓存
查看>>
HTML5学习之——HTML 5 服务器发送事件
查看>>
SVG学习之——HTML 页面中的 SVG
查看>>
mysql中用命令行复制表结构的方法
查看>>
hbase shell出现ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException
查看>>
解决Rhythmbox乱码
查看>>
豆瓣爱问共享资料插件发布啦
查看>>
kermit的安装和配置
查看>>
linux中cat命令使用详解
查看>>
java中的异常机制
查看>>
商务智能-基本方法-数据钻取
查看>>
C++程序员技术需求规划(发展方向)
查看>>
JNI
查看>>
Excel高级使用技巧
查看>>
速算,以后留着教孩子
查看>>
让你变成ps高手
查看>>
在可执行jar中动态载入第三方jar(转贴)
查看>>
考虑体积重量的01背包问题—基于遗传算法
查看>>
K-means 聚类算法
查看>>