azure - 如何使用 Azure 自动化从 HDInsight 启动 Spark 2.0

我不知道如何从 Azure 自动化图形 Runbook 启动 HDInsight Spark 2.0。我有一个现有的运行手册，可以使用 Spark 1.6 与 HDInsight 配合使用。通常，我会将版本字符串从 3.4 更新到 3.5，但 HDInsight 3.5 似乎有两个版本 - 一个是 Spark 2.0，一个是 1.6。

谁能告诉我如何让我的 Runbook 使用 Spark2.0 版本？

版本引用:https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions

最佳答案

我确实确定了如何使用 ARM 模板来做到这一点。希望这能帮助您了解 Runbook。这是用于执行 2.0 集群的 JSON。注意 clusterVersion 和 componentVersion 部分。

...
"resources": [
    {
        "apiVersion": "2015-03-01-preview",
        "name": "somename",
        "type": "Microsoft.HDInsight/clusters",
        "location": "northcentralus",
        "dependsOn": [],
        "properties": {
            "clusterVersion": "3.5",
            "osType": "Linux",
            "tier": "standard",
            "clusterDefinition": {
                "kind": "spark",
                "componentVersion": {
                    "Spark": "2.0"
                },
...

关于azure - 如何使用 Azure 自动化从 HDInsight 启动 Spark 2.0，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/40478191/