我需要使用Java检索DStream中的元素数量。阅读文档时,我做了如下操作:
JavaDStream<Object> stream;
stream.count()
它返回一个DStream对象而不是一个数字
如何获取DStream中的元素数量?我在测试套件中需要它
最佳答案
你不能。 DStream
表示RDD的无穷序列,因此询问元素的总数并没有真正的意义。
您可以添加有状态操作,这些操作将跟踪值的数量并按窗口进行更新,但这与请求对流进行计数不同。您可以检查MapWithStateSuite
以查看如何实现测试状态。