java - 如何在spark/DataFrame上过滤不可为空的行

我想过滤数据并仅获取不同于null的行。

我尝试了以下代码：

 df_alerte.filter(df_alerte.col("heureEntre").isNotNull().and(df_alerte.col("heureSortie")).isNotNull()).show(1000);

抛出：

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot
resolve '((`heureEntre` IS NOT NULL) AND `heureSortie`)' due to data type
mismatch: differing types in '((`heureEntre` IS NOT NULL) AND `heureSortie`)'
(boolean and string).;;
'Filter isnotnull((isnotnull(heureEntre#58) && heureSortie#59))

最佳答案

我终于找到了解决方案，以下代码给出了我想要的结果。
它过滤数据并返回值不为空。

 df_alerte.filter(col("heureEntre").isNotNull().and(col("heureSortie").isNotNull()))

希望对别人有帮助