问题描述
我需要在google dataproc上的驱动程序spark类路径中添加一个配置文件.
I need to add a config file to driver spark classpath on google dataproc.
我尝试使用gcloud dataproc jobs submit spark的--files选项，但这不起作用.
I have try to use --files option of gcloud dataproc jobs submit spark but this not work.
有没有办法在Google dataproc上做到这一点?
Is there a way to do it on google dataproc?
推荐答案
在Dataproc中，列为--jar的所有内容都将添加到类路径中，并且列为--file的所有内容将在每个spark执行程序的工作中可用.目录.即使标志为--jars，但如果您要求文件位于类路径中，则将非jar条目放在此列表中也应该是安全的.
In Dataproc, anything listed as a --jar will be added to the classpath and anything listed as a --file will be made available in each spark executor's working directory. Even though the flag is --jars, it should be safe to put non-jar entries in this list if you require the file to be on the classpath.
这篇关于将文件添加到dataproc上的spark驱动程序类路径文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！