有人问我,如果让我设计广播变量该怎么设计,我想了想说,为啥不用zookeeper呢? 对啊,为啥不用zookeeper,也许spark的最初设计哲学就是尽量不使用别的组件,他有自己分布式内存文件系统,有自己的任务调度(standalone),有自己的sql解析。好吧这也是我喜欢他的地方,一栈式解决方案。

05-11 22:36