es查询报错：too_many_buckets_exception
故障排除
es查询报错：too_many_buckets_exception
{"error":{"root_cause":[],"type":"search_phase_execution_exception","reason":"","phase":"fetch","grouped":true,"failed_shards":[],"caused_by":{"type":"too_many_buckets_exception","reason":"Trying to create too many buckets. Must be less than or equal to: [65536] but was [65537]. This limit can be set by changing the [search.max_buckets] cluster level setting.","max_buckets":65536}},"status":503}问题原因
-
过多的分组: 你在执行聚合查询时请求分组的字段数据量太大。这可能涉及高基数的字段（例如用户ID、商品ID等），导致生成的桶数量极多。
-
Elasticsearch 配置: ElasticSearch 有默认的限制用来防止过多的桶数据耗尽系统资源。
-
数据量: 查询涉及到的数据量过大，或者数据的多样性太高，导致底层聚合器试图创建大量的桶。
解决方案
优化聚合查询增加过滤条件，限制查询的数据量
- 限制聚合的桶数量
在聚合查询中，通过 size 参数来限制请求的桶数量。例如，如果你使用的是 terms 聚合，可以设置 size 参数为一个更低的数字，如 1000 或 5000。
{"aggs": {"my_agg": {"terms": {"field": "my_field","size": 1000 // 设置桶的数量限制}}}
}
- 使用 composite 聚合
composite 聚合允许逐页检索聚合结果，可以避免一次性获取过多的桶。可以通过设置 after 参数来获取下一页的数据，适合高基数聚合场景。
{"aggs": {"my_composite_agg": {"composite": {"sources": [{ "my_field": { "terms": { "field": "my_field" } } }],"size": 1000 // 设置每次请求的大小}}}
}
- 过滤数据
通过使用 query 过滤条件，减少输入到聚合的文档数量以及波动性，从而降低桶的数量。例如，添加时间范围过滤器、状态过滤器等。
{"query": {"range": {"timestamp": {"gte": "now-1d/d","lt": "now/d"}}},"aggs": {"my_agg": {"terms": {"field": "my_field","size": 1000}}}
}
扩充桶的数量（不推荐）：
方式1： 进入容器执行：
curl -X PUT -k "http://127.0.0.1:9200/_cluster/settings" -H 'Content-Type:application/json' -d '{"persistent":{"search.max_buckets":1000000}}' -u 用户名:密码
方式2：是用工具请求postman等
PUT /_cluster/settings
{"transient": {"search.max_buckets": 20000 // 增加桶的阈值}
}