本文介绍了运行更大的纱线作业的主要限制是什么？我如何增加它？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
运行更大的纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么？我如何增加它？基本上，我希望同时执行更多(所有都很大)的SQOOP作业。
我目前假设我需要增加资源管理器堆的大小(因为当我运行纱线作业时，这就是我在Ambari仪表板上看到的)。如何将更多资源添加到RM堆/为什么RM堆似乎只占可用总RAM的一小部分(用于纱线？)跨群集？
查看Ambari：纱线集群内存为55 GB，但RM堆只有900MB。有更多经验的人能告诉我在运行更多的纱线应用程序时有什么区别，限制因素是什么(再说一遍，我如何增加它)？还有什么是我应该看的吗？有没有更详细地解释这一点的文档？
推荐答案
调整纱线和MapReduceMemory的便捷方法是使用纱线实用程序脚本。
下载配对文件##Ref
wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
执行纱线实用程序脚本##Ref
您可以通过提供可用内核、可用内存、否来执行yer-utils.pypython脚本。在磁盘中，是否安装了HBase。
如果您有一个异类Hadoop集群，则必须基于节点规范创建配置组。如果您需要更多关于这方面的信息，请让我知道，我会根据这一点更新我的答案。
这篇关于运行更大的纱线作业的主要限制是什么？我如何增加它？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！