docker - 在TF中服务多个TF模型服务并创建适当的客户端请求以根据请求与特定模型进行交互

您能否建议任何博客或教程，以帮助在TF服务中创建多个TF模型并根据请求创建适当的客户端请求以与特定模型进行交互。

我的要求:
1.我必须在tensorflow服务中托管多个模型
2.客户要求使用任何模型，只有这种模型才能使用

让我向您简要介绍我如何解决这一要求:
1.我在Docker容器中复制了所需的模型
2.我创建了以下配置文件，该文件定义了在Docker容器中加载的模型:

model_config_list: {
  config: {
    name:  "model1",
    base_path:  "<path to model1 saved in docker container>",
    model_platform: "tensorflow",
    model_version_policy: {
        all: {}
    }
  },
  config: {
    name:  "model2",
    base_path:  "<path to model2 saved in docker container>",
    model_platform: "tensorflow",
    model_version_policy: {
        all: {}
    }
  }
}

3.接下来，开始服务而不是定义单个模型的bash路径时，我是
在docker容器中提供配置文件的路径:

tensorflow_model_server --port=9000 --model_config_file=<path to config file saved in docker container>

现在，我面临的挑战是:
1.如何在一个客户端文件中为多个模型创建/修改client.py文件。
2.客户请求的格式是什么？

得到任何线索解决挑战将非常有帮助。

提前致谢!

最佳答案

“在一个客户端文件中为多个模型创建/修改client.py文件”是什么意思？

您可以像这样指定型号名称和型号版本

request = predict_pb2.PredictRequest()
request.model_spec.name = 'model1'
request.model_spec.version.value = 1 # Or any other number you want

关于docker - 在TF中服务多个TF模型服务并创建适当的客户端请求以根据请求与特定模型进行交互，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53651111/