ELK

Elasticsearch

• Проверить Elasticsearch после установки:

    curl http://localhost:9200
  

• Список индексов и их псевдонимов в кратком виде:

    curl http://localhost:9200/_aliases?pretty=true
  

• В развернутом:

    curl 'http://localhost:9200/_cat/indices?v&pretty=true'
  

  Кавычки обязательны, иначе bash выдаст ошибку.

• В контексте шардов:

    curl 'http://localhost:9200/_cat/shards?v&pretty=true'
  

• Проверить здоровье:

    curl 'http://localhost:9200/_cat/health?v&pretty=true'
  

• Проверить состояние кластера:

    curl 'http://localhost:9200/_cluster/state?pretty=true'
  

Вместо localhost вставьте имя сервера, где работает Elasticsearch.

Терминология:

• нода - процесс с данными и настройками. Даже одна нода - это кластер
• документ - это какой-то json-объект
• индекс - это аналог базы данных. Коллекция документов
• тип - аналог таблицы в бд. Произвольное имя, описывающее похожие по структуре документы. Документы в индексе можно организовать по типам
• маппинг - схема документа, которая получается (автоматически) при индексировании документа в Elasticsearch
• все служебные ключи (поля) начинаются с подчеркивания. ключ _source содержит оригинал проиндексированного документа, его сохранение можно отключить, по нему все равно ничего не ищется

Ссылки по теме удаления (чистки) устаревших данных:

• configure TTL in elastic search with index template
• Curator Reference [5.5] » Examples » delete_indices
• Github: Elastic Curator
• Curator Reference [5.5] » Running Curator » Singleton Command Line Interface

Ссылки:

• Краткое введение в Elasticsearch

Filebeat

• Filebeat

Filebeat работает на основе двух компонентов: старатели (inputs, в прошлом prospectors, переименовано с версии Filebeat 6.3) и сборщики (harvesters). Старатели отвечают за управление сборщиками и нахождение всех источников из которых сборщикам нужно читать. Сборщики читают каждый файл строку за строкой и посылают контент в выходной поток, а также ответственны за открытие и закрытие файлов.

Конфиг-файл расположен тут: /etc/filebeat/filebeat.yml. В докер-образе, тут: /usr/share/filebeat/filebeat.yml.

Можно добавлять поля к ... ивенту? мессаджу? каждая строчка, прочитанная сборщиком, является ивентом? мессаджем?

Logstash

• Logstash Reference
• Grok filter plugin
• Beats input plugin
• Configuring Logstash for Docker

Logstash используется для сбора данных из разрозненных источников и нормализации данных для принимающей стороны по вашему выбору.

У Logstash два типа конфигурационных файлов: конфигурационные файлы pipeline, которые задают обрабатываюший pipeline, и файлы настроек, которые определяют конкретные параметры что контролируют старт и выполнение Logstash.

Настроим Logstash для сбора данных из Filebeat

Для этого, создайте пайплайн, вставьте в конфигурацию плагины входа, выхода и фильтра.

Securing Filebeat-Logstash Connection

• Logstash Authentication with SSL certificates
• The ELK Stack with Beats: Securing the Beats-to-Logstash Connection
• Secure communication with Logstash by using SSL

Docker

• Install Elasticsearch with Docker
• Running Kibana on Docker
• Running Logstash on Docker

Другие полезные ссылки

• Getting started with the Elastic Stack
• Elastic Stack and Product Documentation
• The Complete Guide to the ELK Stack – 2018
• How to Deploy the ELK Stack in Production
• Учимся работать с Elasticsearch
• Docker Logging with the ELK Stack – Part One
• LOG Centralization : Using Filebeat and Logstash
• Kibana: окно в Elasticsearch
• Awesome Elasticsearch