分类:日志分析

elk日志分析系统,logstash+elasticsearch+kibana服务

2019-05-07 0 By admin

Grok 预定义字段和自定义字段

在管理 Logstash 服务时,我们会接触到很多其提供的插件。其中最常用到的插件之一Grok,帮助我们将文本内容按行处理,分割为多个字段;实现数据的格式化。 另外grok 默认内置了很多预定义字段类型,减少了我们自己编写匹配模式的时间和精力,也提高了字段匹配的精准度。 预定义字段类型:https:…

2019-05-05 0 By admin

Logstash 配置文件Filter 分析Nginx URL的get传参

一、配置示例 二、KV 插件介绍 此筛选器有助于自动分析具有foo=bar类型的消息(或特定事件字段)。 1、field_split 用于解析键值对的分割符字符串(单字符)。特殊字符需要做转义。如果设置多个字符,则每个字符都为一个分割符。 2、source 要执行key=value搜索的字段。 3、…

2019-05-05 0 By admin

Logstash Filter date 插件介绍

date插件可以用来将日志记录中的时间字符串,转换成LogStash::Timestamp对象,然后替换到@timestamp字段中。注意:如果output 中使用了 %{YYYY.MM.dd} 这种写法,其数值从 @timestamp 字段中读取。所以应该将日志中时间字段转为 @timestamp…

2019-04-30 0 By admin

Logstash input-file 插件介绍

配置实例 input-file插件是最常用的核心插件,从指定的目录或者文件读取内容,输入到管道处理。 配置参数介绍 1、file 指定监听的文件或目录; 2、exclude 排除不要监听的文件 3、add_field 添加自定义字段;此配置参数为通用参数 4、tags 增加标签 5、delimite…

2017-11-17 0 By admin

Lucene 全文检索引擎

Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包。它提供了完整的查询引擎和索引引擎,部分文本分析引擎。 Lucene 的目的是为软件开发人员提供一个简单易用的工具包,以方便地在目标系统中实现全文检索的功能。 注意:Lucene 只是一个引擎,只是一个工具包,如果使用Lucene…

2017-11-15 0 By admin

ElasticSearch 服务写Python代码记录

使用elastic类库中,search函数存在很多搜索参数:query,filter。aggs中有更复杂的metric和bucket。 搜索语句JSON结构拼接很让人头疼。dsl高级库原本是个选择,不过使用过程中存在很多坑。 elastic-dsl是一个高级库,elastic中复杂的JSON结构搜索…