jdbc - 如何从 Spark SQLContext 连接到 Netezza 数据库

我有一个 Spark 实例，我正在尝试连接到现有的 Netezza 数据仓库应用程序以检索一些数据。

使用 SparkSQL 的 SQLContext ，根据 Spark SQL Programming Guide ，这可以通过 read 方法实现。我已经确定我需要使用 --jars 标志提供 JDBC 驱动程序，而不是文档中的 SPARK_CLASSPATH 。操作看起来像

// pyspark
df = sqlContext.read.format('jdbc').options( ... ).load()

// spark-shell
val df = sqlContext.read.format("jdbc").options( ... ).load()

我可以找到一些有关使用 JDBC 连接到 Netezza 的文档，但找不到如何正确传递用户名和密码的文档。我需要在这里传递的“选项”是什么？

最佳答案

在 pyspark 中

df = sqlContext.read.format('jdbc').options(url='jdbc:netezza://server1:5480/DATABASE', \
    user='KIRK', password='****', dbtable='SCHEMA.MYTABLE', \
    driver='org.netezza.Driver').load()

在 spark-shell 中

val df = sqlContext.read.format("jdbc").options(Map(
             "url" -> "jdbc:netezza://server1:5480/DATABASE",
             "user" -> "KIRK",
             "password" -> "****",
             "dbtable" -> "SCHEMA.MYTABLE",
             "driver" -> "org.netezza.Driver")).load()

请注意，Netezza 喜欢全部大写的内容。我不知道这是否有必要，但它不会造成伤害。

关于jdbc - 如何从 Spark SQLContext 连接到 Netezza 数据库，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/32787225/