我对TFRecord文件格式以及如何使用它感到困惑。我有一个TFRecord,但对其确切包含的内容及其结构几乎一无所知。如何打印和检查TFRecord和/或其TFExamples?我本质上是在问与this question相同的问题,但对该问题的答案已过时。打印output_shapes
的output_types
,output_classes
或TFRecord
不会告诉我任何信息(为什么?)。 tf.io.tf_record_iterator()
函数已被弃用,但TFRecord数据集现在看起来可迭代(但是为什么仍然需要the other迭代器?)。但是,仅打印每次迭代将返回乱码,并且tf.train.Example.FromString(example)
抛出TypeError: a bytes-like object is required, not 'tensorflow.python.framework.ops.EagerTensor'
。一切都很混乱。简单地使用tf.data.Dataset
初始化from_tensor_slices()
似乎很容易检查,并且实际上提供了有关其形状和类型的信息。
最佳答案
您可以使用tf.python_io.tf_record_iterator
检查tfrecords文件。它创建一个generato。要访问单个示例,您需要对其进行迭代:
for str_rec in tf.python_io.tf_record_iterator('file.tfrecords'):
example = tf.train.Example()
example.ParseFromString(str_rec)
print(dict(example.features.feature).keys())
这将输出功能名称和类型(在这种情况下为bytes_list)
dict_keys(['label', 'width', 'image_raw', 'height'])
要同时输出数据类型,您需要
print(dict(example.features.feature).values())
但这也会打印原始字符串,并且您可以达到屏幕长度限制。
当您知道编码方式后,即可通过
string = example.features.feature['image_raw'].bytes_list.value[0]
output = np.fromstring(string, dtype)
您可以在此处https://www.tensorflow.org/tutorials/load_data/tf_records了解更多信息
编辑:
如果启用了eager模式,则可以使用numpy进行解码,直接遍历数据集对象
for str_rec in tf.data.TFRecordDataset('file.tfrecords'):
output = np.fromstring(str_rec.numpy(), dtype))
或本机TF。
tf.io.decode_raw(str_rec, tf.uint8))
但是,这将为您提供一个扁平的数组,该数组将不包含有关图像尺寸大小的任何信息,例如