Skip to content

ELK(Elasticsearch/Logstash/Kibana)技术栈笔记 #3

@Shellbye

Description

@Shellbye

前言

本文旨在记录我在使用ELK技术栈的过程中用的一些东西,和对ELK技术栈的一些内容的理解。因为我想让这篇文章能够对未来的像我一样的新手有一定的帮助,所以我会尽量【从零开始】记录,并把技术细节记录到我所能做到的最细。鉴于我在使用中使用的Ubuntu操作系统,所以我在本文中所有的系统环境都默认是Ubuntu 1604,且假设是一个新系统,这样所有依赖的东西就都需要单独安装。

Elasticsearch(业界简称ES),是一个基于Java和Lucene的分布式、可扩展、实时的搜索与数据分析引擎,所以在安装使用ES之前,你需要安装Java。

安装Java

安装Java比较简单,具体可以参考另一篇博客 #4

安装Elasticsearch

我第一次使用ES的时候,是去官网下载的压缩包,然后设置好相应的配置之后,手动启动的。这样的方式的一个好处是可以清晰的体验ES的整个流程,对ES有一个大概的认识,但是这样做也是有比较多的问题的。比如你启动ES的时候是前台运行还是后台运行呢?如果前台运行,那你可能需要多个窗口协同工作(tmux),如果你后台运行(命令行末尾加-d),那么每次需要重启时又比较麻烦,所以经过一段时间的折腾之后,我再后面从5.x到6.x迁移的时候,就依照官方文档直接用Ubuntu的包管理工具的安装的,并直接用systemd来托管ES,方便了很多。

我把ES的Ubuntu安装方式也总结了一篇简单的博客 #5

Elasticsearch的增删改查

相比我之前做搜索时短暂调研过的whooshsphinx,ES我比较喜欢的一点是它的基于http的访问接口,非常的“解耦”,而且在初期可以非常轻松的进行一些简单的操作。当你的ES安装好并且已经启动之后,就可以进行一些简单的增删改查了,具体可以参考这篇博客 #6

从MySQL导数据到Elasticsearch

ES被认为是一种NoSQL,而MySQL是传统关系型数据的典型代表,因为NoSQL的日渐普及,以及ES的诸多传统关系型数据库不具备的功能,所以有很多需要从MySQL导数据到Elasticsearch的场景,这部分的相关介绍可以参考这篇专门记录从MySQL导数据到Elasticsearch的博客 #8

参考:
Elasticsearch: 权威指南
Parsing Logs with Logstash

Metadata

Metadata

Assignees

No one assigned

    Labels

    ELKElasticsearch/Logstash/Kibana草稿草稿

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions