问题信息:
Failed to build job executor for job o2o_get_file_ftp1Job type 'command ' is unrecognized. Could not construct job azkaban报错记录-LMLPHP
问题背景:
搭建azkaban完成后,第一次执行任务时报错
问题原因:
参考这篇知乎:https://zhuanlan.zhihu.com/p/22254898

azkaban报错记录-LMLPHP

azkaban报错记录-LMLPHP

解决办法:

最后在 /azkaban-solo-server/plugins 目录下找到文件,将plugins文件夹 cp-r 到azkaban-web-server和azkaban-exec-server 目录下,重启azkaban

该问题解决,但是出现了一个新的问题:

Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job o2o_get_file_ftp1, sleep for 60 secs and retry, attempt 2 of 720

azkaban报错记录-LMLPHP

问题原因:
azkaban默认需要3G的内存,剩余内存不足则会报异常
解决办法:

azkaban-web-server/plugins/jobtypes/commonprivate.properties
azkaban-exec-server/plugins/jobtypes/commonprivate.properties
中添加:memCheck.enabled=false 或者重启大发(可暂时解决)
04-30 08:23