scala - 如何在扩展中定义源字段

一个月前我在Cascading工作。现在，我们尝试在Scalding中实现相同的功能。我有一个基本问题。

如何在Scalding中定义我的源和接收器模式？

以下是我们在层叠中遵循的过程

    SrcFields sourcefields = new SrcFields();
    SinkFields sinkfields = new SinkFields();
    Fields source = sourcefields.sourceFields();
    Fields sink = sinkfields.sinkfields();
    Scheme sourceScheme = new TextDelimited(source,",");
    Scheme sinkScheme = new TextDelimited(sink,",");

最佳答案

在Scalding中，您可以按照Fields based使用Typed或Source documentation接口(interface)。在以前的版本中，您将使用Csv或Tsv类进行读取或写入。

对于类型化的接口(interface)，应使用TypedCsv或TypedTsv类。

您可以在扩展教程中找到示例:https://github.com/twitter/scalding/blob/develop/tutorial/Tutorial6.scala，https://github.com/twitter/scalding/blob/develop/tutorial/TypedTutorial.scala

关于scala - 如何在扩展中定义源字段，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/30168605/