分类:日志分析

elk日志分析系统,logstash+elasticsearch+kibana服务

2017-11-17 0 By admin

Lucene

非结构化数据查询方法 1、顺序扫描法(Serial Scanning) 查看全部的数据 2、全文检索(Full-text Search) 将有用的数据从非结构化数据中提取出的然后重新组织的信息,我们称之索引。 先建立索引,再对索引进行搜索的过程就叫全文检索(Full-text Search)。 全文…

2017-11-15 0 By admin

elastic类封装

使用elastic类库中,search函数存在很多搜索参数:query,filter,aggs中有更复杂的metric和bucket。 搜索语句JSON结构拼接很让人头疼。dsl高级库原本是个选择,不过使用过程中存在很多坑。 elastic-dsl是一个高级库,elastic中复杂的JSON结构搜索…

2017-11-10 0 By admin

集群和节点的接口

集群 1、查询设置集群状态 curl -XGET localhost:9200/_cluster/health?pretty=true pretty=true表示格式化输出 level=indices 表示显示索引状态 level=shards 表示显示分片信息 2、curl -XGET local…

2017-11-08 0 By admin

插件

插件管理工具: bin/logstash-plugin [option] list install update remove 插件分为:input\output\filter\codec。 具体在pipeline文件中的配置,请见官方文档。

2017-11-08 0 By admin

补充扩展

数据弹性 当数据流经事件处理管道时,Logstash可能会遇到阻止将事件传递到配置的输出的情况。例如,数据可能包含意外的数据类型,或者Logstash可能异常终止。 为了防止数据丢失并确保事件不间断地流经管道,Logstash提供以下数据弹性功能。 持久性队列:通过将事件存储在磁盘上的内部队列中来防…

2017-11-08 0 By admin

管道配置文件

配置文件的结构: 首先:定义事件处理管道(input\filter\output);可以在管道中添加多个插件支持。 然后:插件的配置由插件和插件参数组成一个设置块。 数值类型: 数组:users => [ {id => 1, name => bob}, {id => 2, n…

2017-11-08 0 By admin

logstash command

管理常用命令: #检查配置文件 logstash -f config-pipe.conf -t #启动服务: logstash -f config-pipe.conf #停止服务: kill -TERM {logstash_pid} #重新加载配置文件: kill -HUP {logstash_pi…

2017-11-07 0 By admin

权限组成

集群权限 all: 所有群集管理操作,如快照,节点关闭/重新启动,设置更新,重新路由或管理用户和角色。 monitor: 所有群集只读操作,如群集运行状况,热线程,节点信息,节点和群集统计信息,快照/恢复状态,挂起的群集任务。 monitor_ml: 所有只读机器学习操作,例如获取有关数据传输,作业…