我正在使用 Tensorflow 对我自己的数据集进行神经网络预测。我做的第一个模型是在我的计算机中处理一个小数据集。在此之后，我稍微更改了代码，以便使用具有更大数据集的 Google Cloud ML-Engine 在 ML-Engine 中实现训练和预测。
我正在对 Pandas 数据帧中的特征进行标准化，但这会引入偏斜并且我得到的预测结果很差。
我真正想要的是使用库 tf-transform 来规范化图中的数据。为此，我想创建一个函数 preprocessing_fn 并使用“tft.scale_to_0_1 ”。 https://github.com/tensorflow/transform/blob/master/getting_started.md
我发现的主要问题是当我尝试进行预测时。我正在寻找互联网，但我没有找到任何在训练中对数据进行标准化的导出模型示例。在我发现的所有示例中，数据都没有在任何地方标准化。
我想知道的是 如果我对训练中的数据进行归一化，并发送一个带有新数据的新实例来进行预测，那么这些数据是如何归一化的？
¿也许在 Tensorflow 数据管道中？进行归一化的变量保存在某个地方？
总结:我正在寻找一种方法来标准化我的模型的输入，然后新实例也变得标准化。
最佳答案
首先，您实际上并不需要 tf.transform 。您需要做的就是编写一个从训练/评估 input_fn 和服务 input_fn 调用的函数。
例如，假设您已在整个数据集上使用 Pandas 来计算最小值和最大值
def add_engineered(features):
min_x = 22
max_x = 43
features['x'] = (features['x'] - min_x) / (max_x - min_x)
return features
然后，在您的 input_fn 中，通过调用 add_engineered 包装您返回的功能:
def input_fn():
features = ...
label = ...
return add_engineered(features), label
并在您的服务输入 fn 中，确保通过调用 add_engineered 类似地包装返回的功能(不是功能占位符):
def serving_input_fn():
feature_placeholders = ...
features = feature_placeholders.copy()
return tf.estimator.export.ServingInputReceiver(
add_engineered(features), feature_placeholders)
现在，您在预测时的 JSON 输入只需要包含原始的、未缩放的值。
这是此方法的完整工作示例。
https://github.com/GoogleCloudPlatform/training-data-analyst/blob/master/courses/machine_learning/feateng/taxifare/trainer/model.py#L130
tf.transform 提供了一个两阶段的过程:一个计算最小值、最大值的分析步骤和一个图形修改步骤，以将缩放比例插入到 TensorFlow 图形中。因此，要使用 tf.transform，您首先需要编写一个 Dataflow 管道来进行分析，然后在 TensorFlow 代码中插入对 tf.scale_0_to_1 的调用。这是执行此操作的示例:
https://github.com/GoogleCloudPlatform/cloudml-samples/tree/master/criteo_tft
add_engineered() 方法更简单，也是我的建议。如果您的数据分布会随着时间的推移而发生变化，则需要 tf.transform 方法，因此您希望自动化整个管道(例如，用于持续训练)。
关于python - 使用 tensorflow tf-transform 进行数据标准化，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/46474658/