我在Java应用程序中使用Pig。目前,我有一个线程,每15分钟运行一次Pig查询。每次运行之后,我都将MR Job Jar保留在我的temp文件夹中(在我的情况下是/ tmp)。
它们的代码结构是在启动时创建1个PigServer实例的。然后在循环上,我用不同的分区重新注册查询,并通过openIterator调用执行查询。在线程关闭之前,PigServer不会关闭。
所以我的问题变成了需要打个电话清洗瓶子吗?还是我需要为每次执行关闭PigServer?还是应该在查询完成后自行清理FS?
最佳答案
每次清除tmp空间中的pig *目录后,您似乎都需要创建和销毁PigServer对象。但是,这似乎无法清理Job jar。因此,我必须建立自己的清理功能来处理此问题。