分类:日志分析

elk日志分析系统,logstash+elasticsearch+kibana服务

2022-03-03 0 By admin

ElasticSearch 7.14 安装过程

ElasticSearch 7 可以免费使用 xpack 插件用于管理用户认证和授权信息;这里记录一下其集群安装和配置认证的过程。安装包准备、操作系统内核参数调整、JDK环境配置、集群管理普通账号创建和文件赋权等基本过程,都省略了。 一、ElasticSearch 7.14 集群无认证安装 1.1、…

2021-06-11 0 By admin

ElasticSearch 索引生命周期管理 ILM

引入索引生命周期管理的一个最重要的目的就是对大量时序数据在ElasticSearch读写操作的性能优化。对于日志或指标(metric)类时序性强的ES索引,因为数据量大,并且写入和查询大多都是近期时间内的数据。可以采用hot-warm-cold架构将索引数据切分成hot/warm/cold的索引。 …

2021-03-25 0 By admin

ES 集群级路由和分片分配

集群级路由和分片分配(Cluster Level Shard Allocationedit)用于控制在何处,何时以及如何将分片分配给节点的设置。 Master 节点的主要角色之一是确定将哪些分片分配给哪些节点,以及何时在节点之间移动分片以重新平衡群集。 有许多设置可用于控制分片分配过程: 群集级分片…

2021-03-03 0 By admin

ElasticSearch 服务设置内存锁定

在配置 ElasticSearch 服务过程中,我们一般要设置 bootstrap.memory_lock 为 true,避免内存数据被交换到 SWAP 分区中。在不同的操作系统中,配置 ElasticSearch 服务可以锁定内存的方式也不同。 一、Centos 6 非Systemd 系统 在 C…

2021-01-29 0 By admin

SpringBoot 项目配置 Logback 模块汇总日志到ELK服务

在微服务、云原生等技术普及度越来越广的进程中,项目架构需要解决掉的众多问题里,应用日志汇总收集方案是其中一个。这里以 SpringBoot 框架、Logback 日志模块、Kafka 消息队列 和 ELK 日志平台为构成组件,记录应用日志汇总收集的实施过程。补充:方案不受服务部署位置(宿主机、容器化…

2020-10-22 0 By admin

Filebeat 采集日志实践经验记录

Filebeat 日志采集工具在日常工作中,使用场景更多的是用来采集Nginx 日志和Java 应用运行的日志了。这里简单记录一下踩到坑,和大家分享。 一、Filebeat 收集Nginx 访问日志 Nginx 服务记录的日志,默认都是每行一条单独的日志;所以每条日志的分割很容易处理。为了避免在日志…

2020-10-22 0 By admin

Filebeat 日志采集工具运行原理进阶

一、日志采集流程 Filebeat 不仅支持普通文本日志的作为输入源,还内置支持了 redis 的慢查询日志、stdin、tcp 和 udp 等作为输入源。本文只分析下普通文本日志的处理方式,对于普通文本日志,可以按照以下配置方式,指定 log 的输入源信息。 其中 Input 也可以指定多个, 每…

2020-10-22 0 By admin

Filebeat 日志收集组件介绍

Filebeat 的可靠性很强,可以保证日志 At least once(至少一次) 的上报,同时也考虑了日志搜集中的各类问题,例如日志断点续读、文件名更改、日志 Truncated 等。Filebeat 并不依赖于 ElasticSearch,可以单独存在。我们可以单独使用Filebeat进行日志…

2020-06-26 0 By admin

使用LocalPV 部署ElasticSearch 服务(Statefulset 有状态服务)

在 Kubernetes 容器编排工具管理过程中,为了对Pod 对象做数据存储持久化;一般采用的方式是搭建一套分布式网络存储文件系统,供Kubernetes 创建Pod 容器资源时挂在使用。 一、情况说明 1.1、特殊需求 在一些特殊的情况下,上面的这种架构方案,并不能满足需求。如:需要部署一套高性…