我目前正在一个项目中,需要将Talend Open Studio for Big Data(v 6.3.1)连接到Azure的HDInsight(3.5)Hadoop群集。到目前为止,我正在尝试一个简单的示例,其中包括创建一个Hive表。

为此,我使用下图:

azure - HDInsight和Talend Open Studio for Big Data-LMLPHP

配置单元连接配置如下:

azure - HDInsight和Talend Open Studio for Big Data-LMLPHP

…,请在下面找到tHiveCreateTable_1节点的规范:

azure - HDInsight和Talend Open Studio for Big Data-LMLPHP

通过运行此过程:
·创建了指定的容器和部署Blob(请参见下图)-这使我相信Windows Storage Configuration一切正常

azure - HDInsight和Talend Open Studio for Big Data-LMLPHP

·但是,tHiveCreateTable_1节点有错误(请参见下图)

azure - HDInsight和Talend Open Studio for Big Data-LMLPHP

·我坚信这与主机名和端口有关;
·我尝试使用群集的主机名和我们在Ambari中可以找到的Hive服务器的主机名(请参见下图)

azure - HDInsight和Talend Open Studio for Big Data-LMLPHP

·但是他们都没有按预期工作。

有没有人尝试过类似的东西?

注意:可以说Talend支持的Azure版本是3.4,但这似乎很重要,但是我使用的是3.5。

非常感谢您的提前帮助。

最佳答案

根据官方docuemnt关于Hadoop组件和HDInsight可用版本之间的差异的说法,HDInsight 3.5基于Hortonworks Data Platform(HDP)2.5,而HDI 3.4基于HDP 2.4。但是,它们的Hive组件或其他组件没有太大的版本差异。因此,我的建议是,您可以尝试使用与当前HDI 3.5相同的Azure存储帐户创建HDI 3.4,而不会满足您的需求。

关于azure - HDInsight和Talend Open Studio for Big Data,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/42818140/

10-10 00:32