使用 tf.data 批量处理来自多个 TFRecord 文件的顺序数据

I think you just need to flat_map that function you have to make the windo datasets:def make_dataset_from_filename(filename): data = tf.data.TFRecordDataset(filename, compression_type='GZIP')\ .map(lambda x: parse_fn(x)) data = data.window(3, 1, 1, True)\ .repeat(-1)\ .flat_map(lambda x: x.batch(3))\ .batch(16)tf.data.Dataset.list_files('*.tfrecord').flat_map(make_dataset_from_filename) 这篇关于使用 tf.data 批量处理来自多个 TFRecord 文件的顺序数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！