我正在测试Seldon Core,想知道是否有一种简单的方法来将模型A的输出路由为Seldon Core上模型B的输入。
最佳做法是什么?
最佳答案
在SeldonDeployment资源定义中,您有一个图部分。顶层元素是第一步,它包含下一步的子级。这是一个片段from an example,显示了一个转换器在将请求传递给模型之前用于对其进行转换:
graph:
children:
- children: []
implementation: XGBOOST_SERVER
name: model
modelUri: s3://model-image
type: MODEL
endpoint:
type: REST
name: feature-transformer
type: TRANSFORMER
有一个example in the seldon documentation,其中使用clean和tokenize等步骤来执行自然语言处理的推理。该示例具有多个步骤,类型为MODEL。还有discussion on this in the seldon slack channel。