ElasticSearch cardinality度量误差实测
Cardinality度量是一个近似算法。它是基于HyperLogLog++(HLL)算法的。HLL 会先对我们的输入作哈希运算,然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。 我们不需要理解技术细节(如果确实感兴趣,可以阅读这篇论文),但我们最好应该关注一下这个算法的特性: 可配置…
IT工程师的生活足迹
elk日志分析系统,logstash+elasticsearch+kibana服务
Cardinality度量是一个近似算法。它是基于HyperLogLog++(HLL)算法的。HLL 会先对我们的输入作哈希运算,然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。 我们不需要理解技术细节(如果确实感兴趣,可以阅读这篇论文),但我们最好应该关注一下这个算法的特性: 可配置…
indices recovery API 提供了查看正在恢复中的索引状态信息,恢复状态可以指定特定的索引或者整个集群。 一、Recovery 索引恢复接口 1.1、查看指定索引的恢复情况 1.2、查看整体集群的恢复情况 二、查看索引恢复接口的详解 2.1、输入参数解释 detailed:显示详细信息…
ElasticSearch 集群的高可用和自平衡方案会在节点挂掉(重启)后自动在别的结点上复制该结点的分片,这将导致了大量的IO和网络开销。如果离开的节点重新加入集群,elasticsearch为了对数据分片(shard)进行再平衡,会为重新加入的节点再次分配数据分片(Shard);当一台es因为压…
一、精准查询term term是代表完全匹配,即不进行分词器分析,文档中必须包含整个搜索的词汇 1.1、term单值 字段只有一个值时候,用term关键词查询。 进一步优化查询,因为是精准查询,不需要查询进行评分计算,只希望对文档进行包括或排除的计算。 所以我们会使用 constant_score …
聚合允许使用者对 es 文档进行统计分析,类似与关系型数据库中的 group by,当然还有很多其他的聚合,例如取最大值max、平均值avg等等。 一、分组聚合查询 terms 接下来按price字段进行分组:GET请求 : http://127.0.0.1:9200/shopping/_searc…
一、全文检索 这功能像搜索引擎那样,如品牌输入“小华”,返回结果带回品牌有“小米”和华为的。 GET请求 : http://127.0.0.1:9200/shopping/_search 附带JSON体如下: 二、完全匹配 GET请求 : http://127.0.0.1:9200/shopping…
一、多条件查询 1.1、Must 查询 假设想找出小米牌子,价格为3999元的。(must相当于数据库的&&) GET请求 : http://127.0.0.1:9200/shopping/_search 附带JSON体如下: 返回结果如下: 1.2、Should 查询 假设想找出小…
一、条件查询 1.1、URL带参查询 查找category为小米的文档, GET请求 : http://127.0.0.1:9200/shopping/_search?q=category:小米 返回结果如下: 1.2、请求体带参查询 接下带JSON请求体,还是查找category为小米的文档。 G…
一、文档创建(Put & Post) 假设索引已经创建好了,接下来我们来创建文档,并添加数据。这里的文档可以类比为关系型数据库中的表数据,添加的数据格式为 JSON 格式。 1.1、随机生成ID POST 请求 : http://127.0.0.1:9200/shopping/_doc 请求…
一、创建索引 对比关系型数据库,创建索引就等同于创建数据库。 PUT 请求 : http://127.0.0.1:9200/shopping 请求后,服务器返回响应: 1.1、后台日志 [2021-04-08T13:57:06,954][INFO ][o.e.c.m.MetadataCreateIn…