我正在尝试将IMS大型机数据导入Hadoop。想知道是否有可能通过以下任何一种方式
a)Apache Spark或MapReduce作业。
b)其他任何工具/技术。
主要目标是我们希望每天/每周吸收按时间表运行的IMS大型机数据
最佳答案
由于IMS大型机具有 JDBC连接器可用的https://www.ibm.com/support/knowledgecenter/en/SSEPH2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm，因此使用Sqoop将是一个很好的起点。 (绝对不是仅阅读文档的IMS专业人士)
在 sqoop 中，您将在 hadoop hdfs 上写入数据，然后可以在Spark数据集上使用它。 Sqoop允许您进行完全导入或增量导入。我的观点是建议使用sqoop 1而不是版本2来建议。使用Cron作业来计划您的运行，您将按照需要进行计划。
关于apache-spark - 将大型机IMS数据导入Hadoop，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/60047778/