我目前正在使用Hadoop集群进行 future 的项目。我需要找到有关群集安全性的信息。
我找到了我们需要的API Apache Knox Gateway。我们现在使用Cloudera 4.5。将来，我们将升级到Cloudera 5。
我的问题是Knox似乎与Cloudera 4.5(http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html)不兼容。
WebHDFS 2.4.0
WebHCat/Templeton 0.13.0 0.12.0
Ozzie 4.0.0
HBase/Stargate 0.98.0
Hive (via WebHCat) 0.13.0
Hive (via JDBC) 0.13.0
(http://knox.apache.org/books/knox-0-4-0/knox-0-4-0.html#Quick+Start)
根据该网站，这是唯一经过测试的版本。是否有人有使用此API和Cloudera 4.5的经验？
如果无法正常工作，是否有解决方案来确保群集安全？
最佳答案
首先，Apache Knox是一种在群集范围内为REST API访问提供安全性的方法。当确实需要这样做时，它不能替代Hadoop集群中的kerberos安全性。通过将REST API的范围扩展到企业中，它还继续对启用了kerberos的集群进行补充。它还为最终用户访问提供了一些其他身份解决方案集成。
如果您想要真正的Hadoop安全性，则需要查看Hadoop kerberos部署选项。
现在，关于knox / CDH兼容性...
不幸的是，Knox 0.4.0支持的服务组件版本无法很好地映射到CDH 4.5版本。似乎0.3.0发行版也比CDH 4.5还要新。
尽管HBase仍然落后，但CDH 5.0似乎更好。从here看到的内容-我只能假设是正确的。
我的建议是尝试针对CDH 5尝试使用Apache Knox，并在遇到任何困难时使knox社区参与进来-我们可能会提供一些解决方法。根据您的REST需求-可能有足够的一致性来满足您的需求。
关于apache - Apache Knox Gateway是否与Cloudera 4.5兼容？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/23246530/