如何用Python结合Elasticsearch实现三种翻页功能？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1012个文字，预计阅读时间需要5分钟。
使用ES搜索引擎检索数据时，若数据量过大，通过传统的from++size方式无法获取所有数据（默认最大记录数为10000）。随着页码的增加，会消耗大量内存，导致ES集群压力增大。
使用ES做搜索引擎拉取数据的时候，如果数据量太大，通过传统的from + size的方式并不能获取所有的数据（默认最大记录数10000），因为随着页数的增加，会消耗大量的内存，导致ES集群不稳定。因此延伸出了scroll，search_after等翻页方式。
一、from + size 浅分页
"浅"分页可以理解为简单意义上的分页。它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。
GET test/_search { "query": { "bool": { "filter": [ { "term": { "age": 28 } } ] } }, "size": 10, "from": 20, "sort": [ { "timestamp": { "order": "desc" }, "_id": { "order": "desc" } } ] }
from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。
本文共计1012个文字，预计阅读时间需要5分钟。
使用ES搜索引擎检索数据时，若数据量过大，通过传统的from++size方式无法获取所有数据（默认最大记录数为10000）。随着页码的增加，会消耗大量内存，导致ES集群压力增大。
使用ES做搜索引擎拉取数据的时候，如果数据量太大，通过传统的from + size的方式并不能获取所有的数据（默认最大记录数10000），因为随着页数的增加，会消耗大量的内存，导致ES集群不稳定。因此延伸出了scroll，search_after等翻页方式。
一、from + size 浅分页
"浅"分页可以理解为简单意义上的分页。它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。
GET test/_search { "query": { "bool": { "filter": [ { "term": { "age": 28 } } ] } }, "size": 10, "from": 20, "sort": [ { "timestamp": { "order": "desc" }, "_id": { "order": "desc" } } ] }
from定义了目标数据的偏移值，size定义当前返回的数目。默认from为0，size为10，即所有的查询默认仅仅返回前10条数据。