在Elasticsearch6.X中如何实现去重

一、前言

Elasticsearch有没有相似mysql的distinct的去重功能呢?mysql

1)如何去重计数? 
相似mysql: select distinct(count(1)) from my_table; 
2)如何获取去重结果。 
相似mysql:SELECT DISTINCT name,age FROM users;sql

二、需求

1)对ES的检索结果进行去重统计计数。 
2)对ES的检索结果去重后显示性能

三、分析

1)统计计数须要借助ES聚合功能结合cardinality实现。 
2)去重显示结果有两种方式: 
方式一:使用字段聚合+top_hots聚合方式。 
方式二:使用collapse折叠功能。spa

四、DSL源码

1)统计去重数目。

GET books/_search { "size":0, "aggs" : { "books_count" : { "cardinality" : { "field" : "title.keyword" } } } }

2)返回去重内容

方式一:top_hits聚合code

GET books/_search { "query": { "match_all": {} }, "aggs": { "type": { "terms": { "field": "title.keyword", "size": 10 }, "aggs": { "title_top": { "top_hits": { "_source": { "includes": ["title"] }, "sort": [ { "title.keyword": { "order": "desc" } } ], "size":1 } } } } }, "size": 0 }

方式二:折叠blog

GET books/_search { "query": { "match_all":{} }, "collapse": { "field": "title.keyword" } }

方式二较方式一: 
1)简化; 
2)性能比aggs的实现要好不少。 
更多DSL详见:http://t.cn/RmafXMJ
get

五、注意事项&小结

一、折叠功能ES5.3版本以后才发布的。 
二、聚合&折叠只能针对keyword类型有效;源码