关于我的个人资料-
我正在为集群上运行的某些BDE Informatica提取作业提供L3支持。我们的目标是帮助应用程序团队达到SLA。我们支持在Hadoop层(Hive)上运行的作业流。

问题陈述-
我们已经观察到,BDE Informatica的摄取工作有时会非常缓慢,而另几天它们会在3个小时内完成其周期。如果工作花费了很多时间,我们通常会杀死并重新运行,这对我们有帮助,但这并不能帮助我们解决根本原因。

我们的个人资料限制-
不幸的是,我没有应用程序代码或Informatica工具,但我必须与开发团队联系并提出相关问题,才能缩小根本原因。

后续步骤-

  • 哪种情况会导致这种延迟?
  • 我可以使用哪些工具检查造成延迟的原因?
  • 我可能会问开发团队的几个可能的问题是-
  • 在运行作业流之前是否对表进行了正确分析?
  • 数据量是否有任何重大变化(这不太可能,因为作业在重新运行时运行很快)?

  • 我知道这是一个非常广泛的问题,正在寻求方法上的帮助,而不是任何涉及特定问题的方法,但这仅仅是帮助永久解决此问题或以合理方式解决此问题的开始。

    最佳答案

    您需要检查Informatica日志以查看每次是否都在同一步骤挂起。

    假设不是,您是每天在同一时间触发工作吗?比如说午夜,通常在凌晨3点之前完成…但有时会持续到上午10点,您在那里杀死并重新启动?

    如果是这样,建议您在最小负载,3小时快速运行期间和10小时负载期间确定存储介质 Activity 的基准。需求有区别吗?

    听起来像是争执,但这引起了冲突。进程可能会永远等待,而不是在所需资源可用时恢复。与DBA交谈。

    关于performance - Informatica BDE提取作业运行10多个小时,被杀死并重新运行需要3个小时,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/53625044/

    10-10 01:03
    查看更多