Elasticsearch: 大数据量下如何做分页查询?
2021/12/1 6:08:17
本文主要是介绍Elasticsearch: 大数据量下如何做分页查询?,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
背景说明
业务场景中需要做基于ES的分页查询,而ES存储了上亿条数据,且数据每天还在不断增长,如何做分页查询呢(注意查询效率)?
本质就是一个深度分页查询的问题,很多人可能会尝试ES自带的滚动查询机制。但在大数据量情况下,此种方式是行不通的(不信的可以自行尝试哦)。
方案前提
1. 产品侧:在大数据量分页情况下,产品层面不允许用户自行输入页码跳页;
2. 技术侧:ES数据有全局唯一且有序的ID,可以通过相关算法生成。
方案设计
1.核心设计思想
经分析,用户的点击跳页行为数据偏移量是有限的。且第1页和最后1页的跳转行为可以有效识别,那么可以将用户的点击查询行为分为几个场景:
用户点击第1页:可以按照正常的逻辑进行查询,根据数据要求的排序方向进行顺序查询或倒序查询;
用户点击最后1页:首先判断是否是最后1页;重新计算页数据展示大小;如果结果是按顺序展示,则先按倒序方向进行数据查询,再将结果进行翻转展示。如果结果按倒序展示反之操作即可;
用户点击其他页:此种情况较为复杂。因为要重新计算数据的偏移量,所以需要有用户上次点击的页码信息(例如上次点击页码及对应的第1条数据ID和最后1条数据ID等)进行参照计算。详见下面的图例展示。
2.方案设计
2.1 定义接口参数
2.2 数据查询逻辑
第1页查询:
最后1页查询:
其他页查询:
代码实现
java及PHP代码都已上传到个人gitee上。(重点说明:代码仅供学习参考使用,未经作者同意,请勿用于商业用途)。
这篇关于Elasticsearch: 大数据量下如何做分页查询?的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-09flutter3.x_macos桌面os实战
- 2024-05-09Rust中的并发性:Sync 和 Send Traits
- 2024-05-08使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B
- 2024-05-08完工标准(DoD)与验收条件(AC)究竟有什么不同?
- 2024-05-084万 star 的 NocoDB 在 sealos 上一键起,轻松把数据库编程智能表格
- 2024-05-08Mac 版Stable Diffusion WebUI的安装
- 2024-05-08解锁CodeGeeX智能问答中3项独有的隐藏技能
- 2024-05-08RAG算法优化+新增代码仓库支持,CodeGeeX的@repo功能效果提升
- 2024-05-08代码报错不用愁,CodeGeeX一键完成代码修复、错误解释的功能上线了!
- 2024-05-08今天开始程序员不用再发愁写commit message了,全部由CodeGeeX自动完成!