我需要使用Java检索DStream中的元素数量。阅读文档时,我做了如下操作:

JavaDStream<Object> stream;

stream.count()


它返回一个DStream对象而不是一个数字

如何获取DStream中的元素数量?我在测试套件中需要它

最佳答案

你不能。 DStream表示RDD的无穷序列,因此询问元素的总数并没有真正的意义。

您可以添加有状态操作,这些操作将跟踪值的数量并按窗口进行更新,但这与请求对流进行计数不同。您可以检查MapWithStateSuite以查看如何实现测试状态。

09-25 21:56