分类:日志分析

elk日志分析系统,logstash+elasticsearch+kibana服务

2021-03-25 0 By admin

ES 集群级路由和分片分配

集群级路由和分片分配(Cluster Level Shard Allocationedit)用于控制在何处,何时以及如何将分片分配给节点的设置。 Master 节点的主要角色之一是确定将哪些分片分配给哪些节点,以及何时在节点之间移动分片以重新平衡群集。 有许多设置可用于控制分片分配过程: 群集级分片…

2021-03-03 0 By admin

ElasticSearch 服务设置内存锁定

在配置 ElasticSearch 服务过程中,我们一般要设置 bootstrap.memory_lock 为 true,避免内存数据被交换到 SWAP 分区中。在不同的操作系统中,配置 ElasticSearch 服务可以锁定内存的方式也不同。 一、Centos 6 非Systemd 系统 在 C…

2021-01-29 0 By admin

SpringBoot 项目配置 Logback 模块汇总日志到ELK服务

在微服务、云原生等技术普及度越来越广的进程中,项目架构需要解决掉的众多问题里,应用日志汇总收集方案是其中一个。这里以 SpringBoot 框架、Logback 日志模块、Kafka 消息队列 和 ELK 日志平台为构成组件,记录应用日志汇总收集的实施过程。补充:方案不受服务部署位置(宿主机、容器化…

2020-10-22 0 By admin

Filebeat 采集日志实践经验记录

Filebeat 日志采集工具在日常工作中,使用场景更多的是用来采集Nginx 日志和Java 应用运行的日志了。这里简单记录一下踩到坑,和大家分享。 一、Filebeat 收集Nginx 访问日志 Nginx 服务记录的日志,默认都是每行一条单独的日志;所以每条日志的分割很容易处理。为了避免在日志…

2020-10-22 0 By admin

Filebeat 日志采集工具运行原理进阶

一、日志采集流程 Filebeat 不仅支持普通文本日志的作为输入源,还内置支持了 redis 的慢查询日志、stdin、tcp 和 udp 等作为输入源。本文只分析下普通文本日志的处理方式,对于普通文本日志,可以按照以下配置方式,指定 log 的输入源信息。 其中 Input 也可以指定多个, 每…

2020-10-22 0 By admin

Filebeat 日志收集组件介绍

Filebeat 的可靠性很强,可以保证日志 At least once(至少一次) 的上报,同时也考虑了日志搜集中的各类问题,例如日志断点续读、文件名更改、日志 Truncated 等。Filebeat 并不依赖于 ElasticSearch,可以单独存在。我们可以单独使用Filebeat进行日志…

2020-06-26 0 By admin

使用LocalPV 部署ElasticSearch 服务(Statefulset 有状态服务)

在 Kubernetes 容器编排工具管理过程中,为了对Pod 对象做数据存储持久化;一般采用的方式是搭建一套分布式网络存储文件系统,供Kubernetes 创建Pod 容器资源时挂在使用。 一、情况说明 1.1、特殊需求 在一些特殊的情况下,上面的这种架构方案,并不能满足需求。如:需要部署一套高性…

2019-05-07 0 By admin

Grok 预定义字段和自定义字段

在管理 Logstash 服务时,我们会接触到很多其提供的插件。其中最常用到的插件之一Grok,帮助我们将文本内容按行处理,分割为多个字段;实现数据的格式化。 另外grok 默认内置了很多预定义字段类型,减少了我们自己编写匹配模式的时间和精力,也提高了字段匹配的精准度。 预定义字段类型:https:…

2019-05-05 0 By admin

Logstash 配置文件Filter 分析Nginx URL的get传参

一、配置示例 二、KV 插件介绍 此筛选器有助于自动分析具有foo=bar类型的消息(或特定事件字段)。 1、field_split 用于解析键值对的分割符字符串(单字符)。特殊字符需要做转义。如果设置多个字符,则每个字符都为一个分割符。 2、source 要执行key=value搜索的字段。 3、…