如何设置Keras模型以使用多个TPU进行训练？所有示例均使用单个TPU地址
最佳答案
在喀拉拉邦，这尚未正式提供。
但是我知道人们正在努力为Keras开发此功能。
在底部的张量流层，它们确实提供了一些实验功能。看到
https://www.tensorflow.org/guide/distribute_strategy
https://www.tensorflow.org/guide/using_tpu
https://cloud.google.com/ml-engine/docs/tensorflow/using-tpus
“目前可为Keras提供对Cloud TPU的实验支持
和Colab。”
在您的Tensorflow程序中，您应该使用TPUClusterResolver来
与运行在TPU VM上的TPU gRPC服务器连接。的
TPUClusterResolver返回Cloud TPU的IP地址和端口。
将操作分配给TPU要在计算机上使用TPU，您必须
使用TensorFlow TPUEstimator API，该API继承自
高级TensorFlow估算器API。
它可能不完全是您想要的，例如本地TPU集群。但是您可以按照他们的方式上手
就个人而言，我从来没有尝试过复杂的多gpu / tpu解决方案。我们仅在学校研究中进行简单的单GPU培训。这是我能为您提供的帮助
因此，请加入他们的Beta版，祝您好运！
关于tensorflow - 在Keras中将多个TPU与TF一起使用，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/56515548/