我的团队需要使用StreamSet的旧版本2.5。但是,我们希望在旧环境中包括3.8版中的一些重要处理器,即JDBC元数据处理器。
下面是完成的操作:
使用StreamSets版本2.5.1.1创建一个示例自定义处理器项目
mvn原型:generate -DarchetypeGroupId = com.streamsets -DarchetypeArtifactId = streamsets-datacollector-stage-lib-tutorial -DarchetypeVersion = 2.5.1.1 -DinteractiveMode = true
根据StreamSets 3.8中的JDBC Meta Data类修改代码,并将POM中的参考库修改为StreamSets 3.8:
2.1 streamets-datacollector-api
2.2 streamsets-datacollector-jdbc-protolib
打包定制的jar并将其上传到StreamSets UI的外部库。
将依赖项jar上载到StreamSets UI:
4.1 streamsets-datacollector-api-3.8.jar
4.2 streamsets-datacollector-jdbc-protolib-3.8.jar
一切都可以找到,除了我上传之后
streamets-datacollector-jdbc-protolib-3.8.jar
并重新启动StreamSet,日志中有错误:
java.lang.NoClassDefFoundError: com/streamsets/pipeline/api/base/configurablestage/DPushSource
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
at com.streamsets.pipeline.BlackListURLClassLoader.findClass(BlackListURLClassLoader.java:77)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:341)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:323)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.loadStages(ClassLoaderStageLibraryTask.java:325)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.initTask(ClassLoaderStageLibraryTask.java:192)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.CompositeTask.initTask(CompositeTask.java:48)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.TaskWrapper.init(TaskWrapper.java:44)
at com.streamsets.datacollector.main.Main$1.run(Main.java:101)
at com.streamsets.datacollector.main.Main$1.run(Main.java:98)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at com.streamsets.datacollector.main.Main.doMain(Main.java:98)
at com.streamsets.datacollector.main.DataCollectorMain.main(DataCollectorMain.java:46)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.streamsets.pipeline.BootstrapMain.main(BootstrapMain.java:308)
我注意到该类存在于API-3.8 jar中,并且存在于API-2.5中,但具有不同的包路径,
API-3.8
com / streamsets / pipeline / api / base / configurablestage / DPushSource
API-2.5
com / streamsets / pipeline / configurablestage / DPushSource
我缺少任何使其工作的提示吗?谢谢。
最佳答案
不用说,自StreamSets Data Collector 2.5.0起,有很多修复和增强功能,我强烈建议您升级。
话虽如此,由于DPushSource
是特定于源的,并且您专注于处理器,所以最简单的方法是简单地删除JDBC源。删除jdbc-protolib/src/main/java/com/streamsets/pipeline/stage/origin/jdbc
下的所有内容,然后重试。