Python中如何实现数据分块的优雅处理方式？

本文共计2857个文字，预计阅读时间需要12分钟。

看到这个，你可能想知道一个区块链能有多难？是否值得细说。最近确实遇到一个有趣的区块链函数，写法比较巧妙优雅，所以想分享一下。

在做需求过程中，有一个对大量数据进行分块的函数。

看到这个标题你可能想一个分块能有什么难度？还值得细说吗，最近确实遇到一个有意思的分块函数，写法比较巧妙优雅，所以写一个分享。 日前在做需求过程中有一个对大量数据分块处理的场景，具体来说就是几十万量级的数据，分批处理，每次处理100个。这时就需要一个分块功能的代码，刚好项目的工具库中就有一个分块的函数。拿过函数来用，发现还挺好用的，传入列表和分块大小，然后就能遍历取出分好的数据。

背景

看到这个标题你可能想一个分块能有什么难度？还值得细说吗，最近确实遇到一个有意思的分块函数，写法比较巧妙优雅，所以写一个分享。

日前在做需求过程中有一个对大量数据分块处理的场景，具体来说就是几十万量级的数据，分批处理，每次处理100个。这时就需要一个分块功能的代码，刚好项目的工具库中就有一个分块的函数。拿过函数来用，发现还挺好用的，传入列表和分块大小，然后就能遍历取出分好的数据。调用方式如下：

from xxx import chunk_fun chunk_list = chunk_fun(arr, 100) # 对数据进行分块，指定块的大小为100 for chunk in chunk_list: print(chunk)

然后我就对这个分块函数产生了兴趣，想看看这个小功能是如何实现的。如果让我来写一个分块函数，我知道Python中range函数可以指定步长，用这个特性就完全可以优雅的实现分块功能。