python - 如何在Kedro中更改ParallelRunner的进程数？

我的管道发出大量HTTP请求。这不是CPU繁重的操作，我想旋转更多的进程，而不是CPU内核的数量。我该如何更改？

最佳答案

ParallelRunner支持max_workers参数，但是目前无法从kedro run cli命令传递该参数。这样做是为了降低CLI的复杂性。
您可以手动添加参数，也可以在kedro_cli.py中实例化ParallelRunner时仅对值进行硬编码。流道部分可能看起来像：

runner_class = load_obj(runner, "kedro.runner") if runner else SequentialRunner
runner_params = {'num_workers': 100} if runner is ParallelRunner else {}

context = load_context(Path.cwd(), env=env)
context.run(
    tags=tag,
    runner=runner_class(**runner_params),
    node_names=node_names,
    from_nodes=from_nodes,
    to_nodes=to_nodes,
    from_inputs=from_inputs,
    load_versions=load_version,
    pipeline_name=pipeline,
)