TensorFlow 数据IO（Python函数）

TFRecords 文件表示(二进制)字符串的序列.格式不是随机访问,因此适合于流量大量数据,但是如果需要快速分片或其他非顺序访问,则不适合.

• tf.python_io.TFRecordWriter
• tf.python_io.tf_record_iterator
• tf.python_io.TFRecordCompressionType
• tf.python_io.TFRecordOptions

TFRecords 格式详细信息

TFRecords 文件包含具有 CRC 散列的字符串序列，每个记录都有格式：

uint64 length
uint32 masked_crc32_of_length
byte   data[length]
uint32 masked_crc32_of_data

并将记录连接起来生成文件。CRC32 在这里被描述，CRC的掩码是：

masked_crc = ((crc >> 15) | (crc << 17)) + 0xa282ead8ul