TensorFlow中如何实现数据的并行高效读入详细解析？

本文共计1209个文字，预计阅读时间需要5分钟。

近期研究了并行读取数据的方案，以下是自己整理的理解，比较浅显，仅供参考。

并行读取数据主要包括以下步骤：

1. 创建文件名列表

2.创建文件名数组

3.创建Reader和Decoder

4.创建示例

最近研究了一下并行读入数据的方式，现在将自己的理解整理如下，理解比较浅，仅供参考。

并行读入数据主要分

1. 创建文件名列表

2. 创建文件名队列

3. 创建Reader和Decoder

4. 创建样例列表

5. 创建批列表（读取时可要可不要，一般情况下样例列表可以执行读取数据操作，但是在实际训练的时候往往需要批列表来分批进行数据的组织，提取）

其具体流程如下：

一、 文件名列表：

文件名列表是一个list类型的数据，里面的内容是需要用的数据文件名。可以使用常规的python语法入：[file1, file2]。也可以使用tf.train.match_filename_once方法通过匹配输入。

二、文件名队列

一般使用tf.train.string_input_producer的方法创建文件名队列。该方法传入的是一个文件名列表，输出的是一个先进先出队列。在该方法中存在两个重要参数，num_epochs和shuffle。num_epochs表示列表遍历的次数，主要是由于有时候训练模型需要反复的遍历数据集便于更新模型参数，默认情况下是None（循环遍历）。shuffle表示是否随机遍历，默认情况下是true，表示数据会随机输入队列，当想顺序读入数据时shuffle设置为false。