我有一個初始的 PySpark 資料框，我想從日期列中獲取MINand ，然后MAX使用我的初始資料框中的 and 創建一個具有時間序列（每日日期）的新 PySpark 資料框。MINMAX
然后我將使用它加入我的初始資料框并查找缺失的天數（在我的初始 DF 的其余列中為空）。
我嘗試了許多不同的方法來構建時間序列 DF，但它似乎在 PySpark 中不起作用。有什么建議么？
uj5u.com熱心網友回復：
最大列的值可以這樣提取：
df.groupBy().agg(F.max('col_name')).head()[0]
日期范圍 df 可以這樣創建：
df2 = spark.sql("SELECT sequence(to_date('2000-01-01'), to_date('2000-02-02'), interval 1 day) as date_col").withColumn('date_col', F.explode('date_col'))
然后join。
完整示例：
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
df1 = spark.createDataFrame([(1, '2022-04-01'),(2, '2022-04-05')], ['id', 'df1_date']).select('id', F.col('df1_date').cast('date'))
df1.show()
# --- ----------
# | id| df1_date|
# --- ----------
# | 1|2022-04-01|
# | 2|2022-04-05|
# --- ----------
min_date = df1.groupBy().agg(F.min('df1_date')).head()[0]
max_date = df1.groupBy().agg(F.max('df1_date')).head()[0]
df2 = spark.sql(f"SELECT sequence(to_date('{min_date}'), to_date('{max_date}'), interval 1 day) as df2_date").withColumn('df2_date', F.explode('df2_date'))
df3 = df2.join(df1, df1.df1_date == df2.df2_date, 'left')
df3.show()
# ---------- ---- ----------
# | df2_date| id| df1_date|
# ---------- ---- ----------
# |2022-04-01| 1|2022-04-01|
# |2022-04-02|null| null|
# |2022-04-03|null| null|
# |2022-04-04|null| null|
# |2022-04-05| 2|2022-04-05|
# ---------- ---- ----------
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/470824.html
標籤：阿帕奇火花 日期 pyspark apache-spark-sql 时间序列
下一篇：處理pandas中的日期