我是新手。我们已经设置了solr环境,并且看到在坚果方面我们面临一个问题。磁盘空间已被100%利用。当我们调试它时,我们发现以下位置的作业缓存正在占用更多空间(约占70%)。
“/tmp/hadoop-root/mapred/local/taskTracker/root/jobcache/”。
我搜索了很多论坛,以了解此jobcache文件夹到底包含什么。
谁能帮助我了解此Jobcache文件夹包含的内容以及如何限制此tmp文件夹以不利用空间。
如果删除jobcache文件夹并再次使用mkdir命令创建文件夹,将会有什么效果?
提前致谢。
最佳答案
您提到的目录名称是/tmp/hadoop-root/mapred/local/taskTracker/root/jobcache/
。
当任务执行时,TaskTracker(从属)守护程序使用此目录来本地化作业文件
在奴隶上运行。作业完成后,必须自动清理jobCache下的目录。
该电子邮件链http://mail-archives.apache.org/mod_mbox/hadoop-user/201301.mbox/%3C26850_1357828735_0MGE0023YZCTOO30_99DD75DC8938B743BBBC2CA54F7224A706D2E1AF@NYSGMBXB06.a.wcmc-ad.net%3E讨论了类似的问题。
关于linux - 由于nutch linux实例的tmp目录中的作业缓存,磁盘空间被填满,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24925361/