分类:日志分析

elk日志分析系统,logstash+elasticsearch+kibana服务

2020-10-22 0 By admin

Filebeat 采集日志实践经验记录

Filebeat 日志采集工具在日常工作中,使用场景更多的是用来采集Nginx 日志和Java 应用运行的日志了。这里简单记录一下踩到坑,和大家分享。 一、Filebeat 收集Nginx 访问日志 Nginx 服务记录的日志,默认都是每行一条单独的日志;所以每条日志的分割很容易处理。为了避免在日志…

2020-10-22 0 By admin

Filebeat 日志采集工具运行原理进阶

一、日志采集流程 Filebeat 不仅支持普通文本日志的作为输入源,还内置支持了 redis 的慢查询日志、stdin、tcp 和 udp 等作为输入源。本文只分析下普通文本日志的处理方式,对于普通文本日志,可以按照以下配置方式,指定 log 的输入源信息。 其中 Input 也可以指定多个, 每…

2020-10-22 0 By admin

Filebeat 日志收集组件介绍

Filebeat 的可靠性很强,可以保证日志 At least once(至少一次) 的上报,同时也考虑了日志搜集中的各类问题,例如日志断点续读、文件名更改、日志 Truncated 等。Filebeat 并不依赖于 ElasticSearch,可以单独存在。我们可以单独使用Filebeat进行日志…

2020-06-26 0 By admin

使用LocalPV 部署ElasticSearch 服务(Statefulset 有状态服务)

在 Kubernetes 容器编排工具管理过程中,为了对Pod 对象做数据存储持久化;一般采用的方式是搭建一套分布式网络存储文件系统,供Kubernetes 创建Pod 容器资源时挂在使用。 一、情况说明 1.1、特殊需求 在一些特殊的情况下,上面的这种架构方案,并不能满足需求。如:需要部署一套高性…

2019-05-07 0 By admin

Grok 预定义字段和自定义字段

在管理 Logstash 服务时,我们会接触到很多其提供的插件。其中最常用到的插件之一Grok,帮助我们将文本内容按行处理,分割为多个字段;实现数据的格式化。 另外grok 默认内置了很多预定义字段类型,减少了我们自己编写匹配模式的时间和精力,也提高了字段匹配的精准度。 预定义字段类型:https:…

2019-05-05 0 By admin

Logstash 配置文件Filter 分析Nginx URL的get传参

一、配置示例 二、KV 插件介绍 此筛选器有助于自动分析具有foo=bar类型的消息(或特定事件字段)。 1、field_split 用于解析键值对的分割符字符串(单字符)。特殊字符需要做转义。如果设置多个字符,则每个字符都为一个分割符。 2、source 要执行key=value搜索的字段。 3、…

2019-05-05 0 By admin

Logstash Filter date 插件介绍

date插件可以用来将日志记录中的时间字符串,转换成LogStash::Timestamp对象,然后替换到@timestamp字段中。注意:如果output 中使用了 %{YYYY.MM.dd} 这种写法,其数值从 @timestamp 字段中读取。所以应该将日志中时间字段转为 @timestamp…

2019-04-30 0 By admin

Logstash input-file 插件介绍

配置实例 input-file插件是最常用的核心插件,从指定的目录或者文件读取内容,输入到管道处理。 配置参数介绍 1、file 指定监听的文件或目录; 2、exclude 排除不要监听的文件 3、add_field 添加自定义字段;此配置参数为通用参数 4、tags 增加标签 5、delimite…

2017-11-17 0 By admin

Lucene 全文检索引擎

Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包。它提供了完整的查询引擎和索引引擎,部分文本分析引擎。 Lucene 的目的是为软件开发人员提供一个简单易用的工具包,以方便地在目标系统中实现全文检索的功能。 注意:Lucene 只是一个引擎,只是一个工具包,如果使用Lucene…