由于预计流量非常小,因此需要使用最少资源的数据流。
所需的值为:1 vCPU
,1 GB
Memory
和30 GB
Storage - Standard Persistent Disk
。
一个人如何创建这样的数据流?我到目前为止有以下内容:
DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
options.setProject("project-id");
options.setRunner(DataflowRunner.class);
//Begin: Autoscalling --disable
options.setAutoscalingAlgorithm(DataflowPipelineWorkerPoolOptions.AutoscalingAlgorithmType.NONE);
options.setNumWorkers(1);
//End: Autoscalling
options.setStreaming(true);
options.setAppName("");
options.setMaxNumWorkers(1);
在哪里可以在数据流选项中指定诸如
vCPU
,Memory
和Storage - Standard Persistent Disk
之类的资源?更新资料
我是
GCP
的新手,任何批评都可以接受 最佳答案
从Javadocs
setDiskSizeGb
远程工作磁盘大小(以千兆字节为单位),或0以使用默认大小。
还有...
setWorkerMachineType
用于创建Dataflow Worker VM的机器类型。
有关有效选项的列表,请参见GCE machine types。
如果未设置,则Dataflow服务将选择一个合理的默认值。
列出的允许的计算机类型为here,根据您的需要(“ 1vCPU,1GB内存”),这是最接近的匹配项:n1-standard-1
。
因此,如果您在DataflowPipelineOptions
上调用以下方法...
options.setDiskSizeGb(30);
options.setWorkerMachineType("n1-standard-1");
...那么您的数据流工作者将在具有1个CPU和3.75GB内存的VM上运行,并且他们将使用30GB的存储磁盘。