我有一个数据框log_df:
apache-spark - 如何使用pyspark从一个月的某日开始一个工作日-LMLPHP

我根据以下代码生成一个新的数据框:

from pyspark.sql.functions import split, regexp_extract
split_log_df = log_df.select(regexp_extract('value', r'^([^\s]+\s)', 1).alias('host'),
                          regexp_extract('value', r'^.*\[(\d\d/\w{3}/\d{4}:\d{2}:\d{2}:\d{2} -\d{4})]', 1).alias('timestamp'),
                          regexp_extract('value', r'^.*"\w+\s+([^\s]+)\s+HTTP.*"', 1).alias('path'),
                          regexp_extract('value', r'^.*"\s+([^\s]+)', 1).cast('integer').alias('status'),
                          regexp_extract('value', r'^.*\s+(\d+)$', 1).cast('integer').alias('content_size'))
split_log_df.show(10, truncate=False)

新的数据框如下所示:
apache-spark - 如何使用pyspark从一个月的某日开始一个工作日-LMLPHP

我需要另一列显示星期几,创建它的最佳优雅方式是什么?理想情况下,只需在select中添加类似udf的字段即可。

非常感谢你。

更新:我的问题与注释中的问题不同,我需要的是基于log_df中的字符串进行计算,而不是基于注释中的时间戳,因此这不是重复的问题。谢谢。

最佳答案

我建议一些不同的方法

from pyspark.sql.functions import date_format
df.select('capturetime', date_format('capturetime', 'u').alias('dow_number'), date_format('capturetime', 'E').alias('dow_string'))
df3.show()

它给 ...
+--------------------+----------+----------+
|         capturetime|dow_number|dow_string|
+--------------------+----------+----------+
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|
|2017-06-05 10:05:...|         1|       Mon|

10-07 19:06
查看更多