由于预计流量非常小,因此需要使用最少资源的数据流。
所需的值为:1 vCPU,1 GB Memory和30 GB Storage - Standard Persistent Disk

一个人如何创建这样的数据流?我到目前为止有以下内容:

    DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
    options.setProject("project-id");
    options.setRunner(DataflowRunner.class);
    //Begin: Autoscalling --disable
    options.setAutoscalingAlgorithm(DataflowPipelineWorkerPoolOptions.AutoscalingAlgorithmType.NONE);
    options.setNumWorkers(1);
    //End: Autoscalling
    options.setStreaming(true);
    options.setAppName("");
    options.setMaxNumWorkers(1);


在哪里可以在数据流选项中指定诸如vCPUMemoryStorage - Standard Persistent Disk之类的资源?

更新资料

我是GCP的新手,任何批评都可以接受

最佳答案

Javadocs


  setDiskSizeGb
  
  远程工作磁盘大小(以千兆字节为单位),或0以使用默认大小。


还有...


  setWorkerMachineType
  
  用于创建Dataflow Worker VM的机器类型。
  
  有关有效选项的列表,请参见GCE machine types
  
  如果未设置,则Dataflow服务将选择一个合理的默认值。


列出的允许的计算机类型为here,根据您的需要(“ 1vCPU,1GB内存”),这是最接近的匹配项:n1-standard-1

因此,如果您在DataflowPipelineOptions上调用以下方法...

options.setDiskSizeGb(30);
options.setWorkerMachineType("n1-standard-1");


...那么您的数据流工作者将在具有1个CPU和3.75GB内存的VM上运行,并且他们将使用30GB的存储磁盘。

10-06 06:02