1.spark容错主要分为两个方面

  其一是集群

  再者为spark的应用程序。

  032 Spark容错特性-LMLPHP

2.Driver

  032 Spark容错特性-LMLPHP

  032 Spark容错特性-LMLPHP

  重要补充:  

    driver宕机:
      Spark On Yarn:总之,要重启
        client:只能重启job
        cluster:类似于MR的ApplicationMaster
      Spark On Standalone:不太一样
        client:只能重启
        cluster:如果没给下面的参数,就需要重启
          --supervise:当driver执行失败的时候,会自动重启

3.Executor

  032 Spark容错特性-LMLPHP

  032 Spark容错特性-LMLPHP

4.Task

  032 Spark容错特性-LMLPHP

5.在程序中应用(local模式)

  032 Spark容错特性-LMLPHP

  

05-11 01:22