我已经安装了Hadoop并且测试正常,但是无法在上找到有关n00b的任何说明

如何设置cascading和cascading.jruby。级联 jar 放置在何处,如何配置 Jade 以正确构建 ruby 组件?

有人在使用jenkins自动构建吗?

编辑:更多详细信息
我正在尝试从https://github.com/etsy/cascading.jruby构建示例单词计数作业

我已经安装了

  • hadoop,并成功运行测试。
  • 已安装jruby
  • gem安装cascading.jruby
  • Jade -https://github.com/etsy/jading
  • 已安装ant
  • 创建了单词计数示例wc.rb
  • 运行 Jade 将wc.rb编译为jar

    Jade wc.rb
  • 我得到以下编译错误

    生成文件:build.xml不存在!
    建立失败
    RuntimeError: Ant 检索失败
    (root)位于/ usr / bin / hjade:89

  • 查看 Jade 代码是有意义的,但是示例用法中没有涉及?我在这里想念什么?

    最佳答案

    抱歉耽搁了;这是我的第一个答案。

    您描述的问题Jading从符号链接(symbolic link)调用时无法找到其Ant构建脚本,这确实是一个问题。我建议只将Jading克隆添加到PATH中,而不要创建符号链接(symbolic link)(或提交请求请求以修复issue!)。

    为了解决您的其他一些问题,我在Jading Wiki中创建了一个Getting Started页面,该页面可能会有所帮助。它引导您完成本地和远程cascading.jruby作业的启动和运行,而无需安装除前提条件(Java,Ant,JRuby和Hadoop client + config)之外的任何内容。现在包括一个完整的单词计数脚本示例,该脚本应在本地和Hadoop群集上均起作用,并且已经在Etsy自己的内部群集上进行了测试。

    并进一步备份以解决您有关Jenkins的问题,是的,在Etsy,我们使用Jenkins来构建cascading.jruby(和Scalding)并将其部署到我们的集群中。但是,该构建过程当前不使用Jading来生成作业jar。我们的构建早于Jading,而Jading则是为了发布构建jar的过程的较干净版本。我们的构建可以很容易地使用Jading(原始示例来自我们代码的实际使用),但是我们对构建所产生的 Artifact 的要求略有不同。

    如果您在Jading方面还有其他问题,请随时向github项目提交问题或提出请求。

    08-28 04:38