火花flatMapToPair创建不同类型的钥匙

火花flatMapToPair创建不同类型的钥匙

本文介绍了火花flatMapToPair创建不同类型的钥匙的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

有关CS使用以下$ C $ 火花 的Java API

For the following codes using spark java API:

JavaPairRDD<TypeOne,Long> pairs = originalRows.flatMapToPair(new PairFlatMapFunction<OriginalType,TypeOne,Long>()

它采用 RDD ,名为 OriginalType ,并将其与 TypeOne 。

我想知道是有可能发生 OriginalType ,并在地图上的一步,它映射到两种关键的?像 TypeOne TypeTwo 。或者我必须使用两个步骤的地图来实现这个...

I am wondering that is it possible to takes OriginalType and during the map step, maps it into two types of key? Like TypeOne and TypeTwo. Or I must use two map steps to realize this...

推荐答案

您可以创建一个接口或通用类这两种类型将实行/继承和使用,而不是特定的类型。

You can create an Interface or Generic class that both types will implement/inherit and use this instead of the specific type.

public interface IType { }

public class TypeOne implements IType { }

public class TypeTwo implements IType { }

JavaPairRDD<IType,Long> pairs = originalRows.flatMapToPair(new PairFlatMapFunction<OriginalType,IType,Long>()

这篇关于火花flatMapToPair创建不同类型的钥匙的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

08-14 07:33