日志分析

ELK (Elasticsearch + logstash + kibana) 日志分析实现日志的收集，处理，分析和图像化展示。

一、Filebeat 日志收集工具

Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。
filebeat 其实是 elastic/beats 的一员，除了 filebeat 外，还有 HeartBeat、PacketBeat。这些 beat 的实现都是基于 libbeat 框架。

  1. Filebeat 日志收集组件介绍
  2. Filebeat 日志采集工具运行原理进阶
  3. Filebeat 采集日志实践经验记录

1.1、扩展同类组件 Fluent 介绍

  1. 轻量级日志收集转发 Fluent-bit 指令介绍

二、Logstash 日志收集工具

收集日志并对日志中的内容进行预处理。

  1. Logstash 日志收集工具介绍
  2. Logstash 服务基础配置介绍
  3. Logstash 数据弹性持久化扩展
  4. Logstash 服务管道配置文件介绍
  5. Logstash 日志收集命令使用介绍
  6. Logstash 日志收集服务插件管理
  7. Logstash IP地址解析 geoip type is not [geo_point]
  8. Logstash input-file 插件介绍
  9. Logstash Filter-date 插件介绍
  10. Logstash 配置文件Filter 分析Nginx URL的get传参
  11. Logstash 服务Grok调试Nginx 日志
  12. Grok 预定义字段和自定义字段
  13. Logstash Mutate转换 filter plugin
  14. SpringBoot 项目配置 Logback 模块汇总日志到ELK服务

三、ElasticSearch 数据存储、搜索和分析统计工具

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它使您能够快速，实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。

3.1、ElasticSearch 基础介绍

  1. ElasticSearch 服务部分名词介绍
  2. ElasticSearch 服务配置文件介绍
  3. ElasticSearch 服务管理命令介绍
  4. ElasticSearch 服务设置内存锁定
  5. ElasticSearch 7.14 安装过程
  6. 使用LocalPV 部署ElasticSearch 服务（Statefulset 有状态服务）

3.2、ElasticSearch 进阶介绍

  1. Lucene 全文检索引擎
  2. ElasticSearch 分词器介绍
  3. ElasticSearch cardinality度量误差实测
  4. ElasticSearch 服务查询语言和Score积分
  5. ElasticSearch 服务查询DSL中Query和Filter

3.3、ElasticSearch 服务接口管理

  1. ElasticSearch 服务的_cat 接口介绍
  2. ElasticSearch 接口：服务集群和节点的接口
  3. ElasticSearch tasks接口：服务任务管理API接口
  4. ElasticSearch recovery接口：索引恢复查看API接口
  5. ElasticSearch 接口：索引管理
  6. ElasticSearch 接口：文档的基础增删改查操作
  7. ElasticSearch 接口：文档的查询-条件查询、分页查询和排序
  8. ElasticSearch 接口：文档多条件查询和范围查询
  9. ElasticSearch 接口：文档全文检索 & 完全匹配 & 高亮查询
  10. ElasticSearch 接口：查询term、match、bool、filter 介绍
  11. ElasticSearch 接口：mapping 映射管理
  12. ElasticSearch 接口：服务仓库和快照接口介绍
  13. ElasticSearch 服务Query指令
  14. ElasticSearch 服务Filter示例

3.4、ElasticSearch 服务使用过程介绍

  1. ElasticSearch 服务索引匹配方式
  2. 分析器Anslysis 和索引配置
  3. ElasticSearch 服务聚合Aggs介绍
  4. ElasticSearch 服务aggs积累
  5. ElasticSearch 服务bucket 桶介绍
  6. ElasticSearch 服务cardinality 基数聚合
  7. ElasticSearch 索引生命周期管理 ILM

3.5、ElasticSearch 服务功能模块 modules

ElasticSearch 服务包括了多个功能模块，想要熟练地使用 ElasticSearch 就要掌握这些功能模块。
功能模块可以分为：

1.1、静态的

启动节点时，必须在elasticsearch.yml文件，环境变量或命令行中的节点级别上配置这些设置 。必须在集群中的每个相关节点上设置它们。

1.2、动态的

可以使用cluster-update-settings API在运行的集群上动态更新这些设置。

  1. ElasticSearch 集群级路由和分片分配
  2. ElasticSearch 服务节点重启需要的相关操作

四、Kibana&&插件

从Elasticsearch 服务中获取数据进行展示，并将客户的搜索请求提交给Elasticsearch 服务。

  1. Kibana 服务安装使用
  2. ELK 服务x-pack插件介绍
  3. ELK 服务X-pack插件权限组成

五、Python API

Elastic stack 扩展接口

  1. Elasticsearch 服务Python编程库
  2. ElasticSearch 服务写Python代码记录
  3. ElasticSearch 服务编程API使用示例
  4. ElasticSearch 数据备份|快照API使用示例
  5. ElasticSearch 索引API使用示例