如here所述，TensorFlow有一个用于生产用途的单独项目，称为TensorFlow Serving。
如何在生产环境中使用CNTK，以及如何处理CNTK的部署？希望可以将经过训练的模型部署到服务器/群集中，该服务器/群集可以通过RPC或HTTP REST API为模型提供服务。
如果不存在这样的工具，那么开发它的第一步应该是什么，并且自己开发出一个好的架构？
最佳答案
我们确实支持在生产环境中服务CNTK模型。您可以找到有关模型评估/推断的信息：https://github.com/Microsoft/CNTK/wiki/CNTK-Evaluation-Overview。要进行部署，您需要部署指定为here的dll。 here中提供了用于在Azure中部署CNTK的教程。
关于cntk - CNTK部署用于实时预测，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/42296170/