如何高效利用TFRecord存取大量数据案例？

本文共计875个文字，预计阅读时间需要4分钟。

TensorFlow提供了TFRecord格式来统一存储数据，它支持不同的原始数据格式，并有效管理不同属性。TFRecord格式中的数据以tf.train.Example+Protocol Buffers存储。

TensorFlow提供了一种统一的格式来存储数据，就是TFRecord，它可以统一不同的原始数据格式，并且更加有效地管理不同的属性。

TFRecord格式

TFRecord文件中的数据都是用tf.train.Example Protocol Buffer的格式来存储的，tf.train.Example可以被定义为：

message Example{ Features features = 1 } message Features{ map<string, Feature> feature = 1 } message Feature{ oneof kind{ BytesList bytes_list = 1 FloatList float_list = 1 Int64List int64_list = 1 } }

可以看出Example是一个嵌套的数据结构，其中属性名称可以为一个字符串，其取值可以是字符串BytesList、实数列表FloatList或整数列表Int64List。