分类:日志分析

elk日志分析系统,logstash+elasticsearch+kibana服务

2017-11-17 0 By admin

Lucene 全文检索引擎

Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包。它提供了完整的查询引擎和索引引擎,部分文本分析引擎。 Lucene 的目的是为软件开发人员提供一个简单易用的工具包,以方便地在目标系统中实现全文检索的功能。 注意:Lucene 只是一个引擎,只是一个工具包,如果使用Lucene…

2017-11-15 0 By admin

ElasticSearch 服务写Python代码记录

使用elastic类库中,search函数存在很多搜索参数:query,filter。aggs中有更复杂的metric和bucket。 搜索语句JSON结构拼接很让人头疼。dsl高级库原本是个选择,不过使用过程中存在很多坑。 elastic-dsl是一个高级库,elastic中复杂的JSON结构搜索…

2017-11-08 0 By admin

Logstash 数据弹性持久化扩展

数据弹性 当数据流经事件处理管道时,Logstash可能会遇到阻止将事件传递到配置的输出的情况。例如,数据可能包含意外的数据类型,或者Logstash可能异常终止。 为了防止数据丢失并确保事件不间断地流经管道,Logstash提供以下数据弹性功能。 一、持久性队列 通过将事件存储在磁盘上的内部队列中…

2017-11-08 0 By admin

Logstash 服务管道配置文件介绍

一、Logstash 服务配置文件的结构 首先:定义事件处理管道(input\filter\output);可以在管道中添加多个插件支持。 然后:插件的配置由插件和插件参数组成一个设置块。 二、配置文件数值类型介绍 2.1、数组 users => [ {id => 1, name =&g…

2017-11-07 0 By admin

ELK 插件X-pack权限组成

一、集群权限 all: 所有群集管理操作,如快照,节点关闭/重新启动,设置更新,重新路由或管理用户和角色。 monitor: 所有群集只读操作,如群集运行状况,热线程,节点信息,节点和群集统计信息,快照/恢复状态,挂起的群集任务。 monitor_ml: 所有只读机器学习操作,例如获取有关数据传输,…