当我访问Kubeflow端点以使用克隆的TFX上载并运行管道时,该过程开始于第一步挂起,并产生以下消息:

“此步骤通过以下消息处于待处理状态:ImagePullBackOff:后退拉取图像“tensorflow / tfx:0.14.0dev”,该图像与在创建的管道yaml文件中使用的图像相同。

我的总体目标是为tfrecords文件构建ExampleGen,如指南here中所述。 pip中最新的tfx版本是0.13和does not yet include the necessary functions。因此,我每晚安装tf并克隆/构建tfx(dev版本0.14)。这样做并安装一些其他模块,例如tensorflow_data_validation,我现在可以使用tfx组件并为tfrecords文件包含ExampleGen来创建管道。我终于用KubeflowRunner构建了管道。但这会产生上述错误。

我现在想知道解决这个问题的适当方法。我猜一种方法是使用指定的版本自己构建镜像,但是也许有更实用的方法吗?

最佳答案

TFX尚无每晚图像生成。当前,默认情况下,它默认使用标记有用于构建管道的库版本的图像,因此标记的原因是0.14dev0。这是HEAD的当前版本,请参见此处:
https://github.com/tensorflow/tfx/blob/a1f43af5e66f9548ae73eb64813509445843eb53/tfx/version.py#L17

您可以构建自己的图像并将其推送到某处,例如gcr.io/your-gcp-project/your-image-name:tag,并通过为管道定制tfx_image参数来指定管道使用该图像,而不是:
https://github.com/tensorflow/tfx/blob/74f9b6ab26c51ebbfb5d17826c5d5288a67dcf85/tfx/orchestration/kubeflow/base_component.py#L54

参见例如:
https://github.com/tensorflow/tfx/blob/b3796fc37bd4331a4e964c822502ba5096ad4bb6/tfx/examples/chicago_taxi_pipeline/taxi_pipeline_kubeflow.py#L243

08-18 19:01