如何用Keras Sequence类高效训练大规模数据集？

本文共计851个文字，预计阅读时间需要4分钟。

使用Keras进行大规模数据集训练时，若要避免将数据一次性加载进内存，可以直接从内存中读取数据并传递给网络。除了使用Sequence类外，还可以利用生成器生成数据。然而，fit_generator方法无法直接使用。

使用Keras如果要使用大规模数据集对网络进行训练，就没办法先加载进内存再从内存直接传到显存了，除了使用Sequence类以外，还可以使用迭代器去生成数据，但迭代器无法在fit_generation里开启多进程，会影响数据的读取和预处理效率，在本文中就不在叙述了，有需要的可以另外去百度。