关于我的个人资料-
我正在为集群上运行的某些BDE Informatica提取作业提供L3支持。我们的目标是帮助应用程序团队达到SLA。我们支持在Hadoop层(Hive)上运行的作业流。
问题陈述-
我们已经观察到,BDE Informatica的摄取工作有时会非常缓慢,而另几天它们会在3个小时内完成其周期。如果工作花费了很多时间,我们通常会杀死并重新运行,这对我们有帮助,但这并不能帮助我们解决根本原因。
我们的个人资料限制-
不幸的是,我没有应用程序代码或Informatica工具,但我必须与开发团队联系并提出相关问题,才能缩小根本原因。
后续步骤-
我知道这是一个非常广泛的问题,正在寻求方法上的帮助,而不是任何涉及特定问题的方法,但这仅仅是帮助永久解决此问题或以合理方式解决此问题的开始。
最佳答案
您需要检查Informatica日志以查看每次是否都在同一步骤挂起。
假设不是,您是每天在同一时间触发工作吗?比如说午夜,通常在凌晨3点之前完成…但有时会持续到上午10点,您在那里杀死并重新启动?
如果是这样,建议您在最小负载,3小时快速运行期间和10小时负载期间确定存储介质 Activity 的基准。需求有区别吗?
听起来像是争执,但这引起了冲突。进程可能会永远等待,而不是在所需资源可用时恢复。与DBA交谈。
关于performance - Informatica BDE提取作业运行10多个小时,被杀死并重新运行需要3个小时,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/53625044/