python - 为Caffe2创建镜像LMDB

在原始的Caffe框架中，在caffe/build/tools下有一个名为convert_imageset的可执行文件，该文件包含一个JPEG图像目录和一个带有每个图像标签的文本文件，并输出一个LMDB，可将其输入Caffe模型进行训练，测试等。

使用Caffe2网站上的MNIST tutorial中的AddInput()函数将原始JPEG图像和标签转换为Caffe2可以摄取的LMDB的最佳方法是什么？

根据我的研究，您不能简单地使用此工具创建LMDB文件并提供Caffe2模型。

教程脚本仅下载两个LMDB（mnist-train-nchw-lmdb和mnist-test-nchw-lmdb）并将它们传递给AddInput()，但没有提供有关LMDB如何创建的见解。

最佳答案

有一个名为make_image_db.cc的二进制文件，它可以精确地执行您所描述的内容。它位于caffe2/build/bin/make_image_db中：

// This script converts an image dataset to a database.
//
// caffe2::FLAGS_input_folder is the root folder that holds all the images
//
// caffe2::FLAGS_list_file is the path to a file containing a list of files
// and their labels, as follows:
//
//   subfolder1/file1.JPEG 7
//   subfolder1/file2.JPEG 7
//   subfolder2/file1.JPEG 8
//   ...

如https://github.com/caffe2/caffe2/issues/1755中所述，您可以通过以下方式使用二进制文件（也可以使用较少的参数）：

caffe2/build/bin/make_image_db -color -db lmdb -input_folder ./some_input_folder
-list_file ./labels_file -num_threads 10 -output_db_name ./some_output_folder -raw -scale 256 -shuffle

有关如何创建和读取lmdb数据库（用于随机图像）的完整Caffe2示例，可以在官方github存储库中找到，并且可以用作适应您自己的图像https://github.com/caffe2/caffe2/blob/master/caffe2/python/examples/lmdb_create_example.py的框架。由于尚未使用此方法，因此我将简单复制该示例。为了创建数据库，可以使用：

import argparse
import numpy as np

import lmdb
from caffe2.proto import caffe2_pb2
from caffe2.python import workspace, model_helper

def create_db(output_file):
    print(">>> Write database...")
    LMDB_MAP_SIZE = 1 << 40   # MODIFY
    env = lmdb.open(output_file, map_size=LMDB_MAP_SIZE)

    checksum = 0
    with env.begin(write=True) as txn:
        for j in range(0, 128):
            # MODIFY: add your own data reader / creator
            label = j % 10
            width = 64
            height = 32

            img_data = np.random.rand(3, width, height)
            # ...

            # Create TensorProtos
            tensor_protos = caffe2_pb2.TensorProtos()
            img_tensor = tensor_protos.protos.add()
            img_tensor.dims.extend(img_data.shape)
            img_tensor.data_type = 1

            flatten_img = img_data.reshape(np.prod(img_data.shape))
            img_tensor.float_data.extend(flatten_img)

            label_tensor = tensor_protos.protos.add()
            label_tensor.data_type = 2
            label_tensor.int32_data.append(label)
            txn.put(
                '{}'.format(j).encode('ascii'),
                tensor_protos.SerializeToString()
            )

            checksum += np.sum(img_data) * label
            if (j % 16 == 0):
                print("Inserted {} rows".format(j))

    print("Checksum/write: {}".format(int(checksum)))
    return checksum

然后可以通过以下方式加载数据库：

def read_db_with_caffe2(db_file, expected_checksum):
    print(">>> Read database...")
    model = model_helper.ModelHelper(name="lmdbtest")
    batch_size = 32
    data, label = model.TensorProtosDBInput(
        [], ["data", "label"], batch_size=batch_size,
        db=db_file, db_type="lmdb")

    checksum = 0

    workspace.RunNetOnce(model.param_init_net)
    workspace.CreateNet(model.net)

    for _ in range(0, 4):
        workspace.RunNet(model.net.Proto().name)

        img_datas = workspace.FetchBlob("data")
        labels = workspace.FetchBlob("label")
        for j in range(batch_size):
            checksum += np.sum(img_datas[j, :]) * labels[j]

    print("Checksum/read: {}".format(int(checksum)))
    assert np.abs(expected_checksum - checksum < 0.1), \
        "Read/write checksums dont match"

最后但并非最不重要的一点，还有一个有关如何创建minidb数据库的教程：https://github.com/caffe2/caffe2/blob/master/caffe2/python/tutorials/create_your_own_dataset.ipynb。为此，可以使用以下功能：

def write_db(db_type, db_name, features, labels):
    db = core.C.create_db(db_type, db_name, core.C.Mode.write)
    transaction = db.new_transaction()
    for i in range(features.shape[0]):
        feature_and_label = caffe2_pb2.TensorProtos()
        feature_and_label.protos.extend([
            utils.NumpyArrayToCaffe2Tensor(features[i]),
            utils.NumpyArrayToCaffe2Tensor(labels[i])])
        transaction.put(
            'train_%03d'.format(i),
            feature_and_label.SerializeToString())
    # Close the transaction, and then close the db.
    del transaction
    del db

特征将是一个张量，包含您的图像作为numpy数组。标签是要素的相应真实标签。然后，您只需将函数调用为

write_db("minidb", "train_images.minidb", train_features, train_labels)

最后，您可以通过以下方式从数据库加载图像：

net_proto = core.Net("example_reader")
dbreader = net_proto.CreateDB([], "dbreader", db="train_images.minidb", db_type="minidb")
net_proto.TensorProtosDBInput([dbreader], ["X", "Y"], batch_size=16)

关于python - 为Caffe2创建镜像LMDB，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48287080/