Workshop Elasticsearch e a stack Elastic

Nessa aula veremos o que é o Stack Elastic, de quais ferramentas são compostas, como funciona o Cluster Elastic e como ele foi criado.

Respostas do Quis do Capitulo I

Nessa aula faremos as seguintes instalações a partir do fonte:

• Elasticsearch - Versão 7.5 (Ultima versão em 12/2019)

• Kibana - Versão 7.5 (Ultima versão em 12/2019)

Ambos serão instalados a partir do fonte em um sistema operacional Linux porem deixarei os links dos demais tipos de instalações da própria documentação da Elastic aqui em recursos.

Link para acesso ao passo a passo do LAB 1 no GitHub: https://github.com/AnselmoBorges/treinamento_elastic/blob/master/labs/lab01.md

Video com a resolução do Lab 1 (faltou a parte do Kibana que está no próximo video)

Continuação da resolução do LAB 1

Nesse capitulo, veremos como realizar:

• Inserção de documentos

• Alteração de documentos

• Delete de documentos e indices

• Bulk insert

Usamos uma analogia comparando com bancos de dados tradicionais que usam SQL ANSI.

Abaixo um link com a documentação oficial da Elastic com mais detalhes na manipulação de dados no Elasticsearch.

Correção do Quiz e explicações

Laboratório contendo operações de:

• Inserção de dados

• Atualização

• Delete de registros e indices

• Bulk Insert

Nesse capitulo vamos iniciar as buscas de forma simples no Elasticsearch, não mais por índices e sim pelo conteúdo do documento. Vamos usar alguns exemplos de ingestão de dados:

• "estáticos"

• series temporais

Tais ingestões serão abordadas no LAB 3 com Logstash e Filebeats

Nesse Lab vamos fazer algumas consultas no indice Adega, fazer a ingestão de dados estaticos e de series temporais e ver como podemos usar isso de forma simples em dashboards do Kibana.

A duração aproximada desse lab é de 30 a 40 min.

Nesse capítulo vemos como a relevância age em cima das pesquisas do Elasticsearch e nos recursos externos um materal com as melhores praticas de relevâncias na ferramenta.

Nesse capitulo veremos alguns tipos de busca full text, usando match_phrase e algumas variações.

Nesse capitulo vamos ver como usar bool queries, onde podemos combinar vários tipos de buscas filtrando melhor o que queremos.

Lembrando o Link do lab 4 que deve ser realizado logo após o termino do Quiz desse capitulo está LAB 4 em referencias externas ou no link abaixo:

https://github.com/AnselmoBorges/treinamento_elastic/blob/master/labs/lab04.md

Nesse lab iremos refinar nossas buscas usando o material dos capitulos 5, 6 e 7, que usa:

• Match

• Match_phrase

  • slop

• Multi_match

  • phrase

• Bool

  • must

  • must_not

  • should

  • filter
    

Nesse primeiro dos capítulos que fala sobre agregação, vamos falar sobre agregação de métricas.

• Soma

• máximo

• minimo

• Média

• porcentagem

• Cardinalidade

Nesse capitulo vamos fazer agregações por bucket, que podem ser periodos, termos, localização geografica e outros.

Nesse capitulo vamos expandir as possibilidades dando alguns exemplos de como usar as agregações de métricas e de buckets em conjunto.

Esse laboratório agrega o conteúdo dos capítulos 8, 9 e 10.

Recomendo se você tente realizar os exercícios que estão no LAB (sem olhar a resposta, rs) e caso tenha algum problema ou duvida ai sim assistir o vídeo de resolução.

Nesse capítulo veremos que quando criamos os dados o Elasticsearch de forma implícita define o formato de cada campo, porém podemos "mapear" os campos dos índices antes mesmo da criação dos dados.

Esse capítulo mostra como é realizado a indexação dos dados no Elasticsearch trazendo o resultado de forma rápida.

Entendendo a arquitetura e divisão de tarefas dos nodes de um Cluster Elasticsearch

Vamos realizar criação de um Cluster Elasticsearch, para esse exemplo eu vou o Google GCP, caso você nunca tenha usado, a Google te dá 300 dolares para testes iniciais, sendo assim a criação desse ambiente não terá custo. Mas você pode criar em maquinas vituais, na Amazon, Azure é só seguir o mesmo principio de máquinas.

Ap[os a construção do ambiente no Google GCP vamos iniciar a instalação do Elasticsearch nas 3 instancias criadas.

Nessa ultima parte, faremos as alterações necessárias nos arquivos de configuração do Elasticsearch e Kibana, efetivando a configuração como um Cluster.

Shards: a divisão dos dados do indice entre os clusters de forma performatica

Por padrão o Elasticsearch não vem configurado com a autenticação. Isso pode ser uma brecha de segurança, nesse video vemos como ativar a autenticação no Cluster

## Habilitando a autenticaçao no elasticsearch e a criptografia TLS

## Gerando as chaves TLS/SSL

elasticsearch-certutil cert -out /etc/elasticsearch/elastic-certificates.p12 -pass ""

## Habilitando o Xpack no arquivo de configuração

xpack.security.enabled: true

xpack.security.transport.ssl.enabled: true

xpack.security.transport.ssl.verification_mode: certificate

xpack.security.transport.ssl.keystore.path: elastic-certificates.p12

xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

## Copie o certificado para os outros nodes:

para o diretório /etc/elasticsearch

## Reinicie o Elasticsearch em todos os nodes:

systemctl restart elasticsearch

## Rodando o utilitário de criação de password:

elasticsearch-setup-passwords interactive

### Para que a senha não fique exposta, vamos criar um keystore para o kibana se conectar com o Elastic

kibana-keystore create

## Agora vamos adicionar o usuário e senha nesse keystore

kibana-keystore add elasticsearch.username

kibana-keystore add elasticsearch.password

Como realizar backups dos indices nos clusters Elasticsearch

Alguns exemplos de uso do Beats na pratica, nesse primeiro video, um overview da ferramenta.

Vamos fazer alguns testes de instalações do Beats em alguns cenários na prática.

Fazendo os laboratorios de Audibeat e Filebeat ja na versao 7.6