資料子集上的視窗函式-有解無憂

我有一張像下面這樣的桌子。我想計算中位數的平均值，但僅適用于 Q=2 和 Q=3。我不想包含其他 Q，但仍保留資料。

df = spark.createDataFrame([('2018-03-31',6,1),('2018-03-31',27,2),('2018-03-31',3,3),('2018-03-31',44,4),('2018-06-30',6,1),('2018-06-30',4,3),('2018-06-30',32,2),('2018-06-30',112,4),('2018-09-30',2,1),('2018-09-30',23,4),('2018-09-30',37,3),('2018-09-30',3,2)],['date','median','Q'])

 ---------- -------- --- 
|      date| median | Q |
 ---------- -------- --- 
|2018-03-31|       6|  1|
|2018-03-31|      27|  2|
|2018-03-31|       3|  3|
|2018-03-31|      44|  4|
|2018-06-30|       6|  1|
|2018-06-30|       4|  3|
|2018-06-30|      32|  2|
|2018-06-30|     112|  4|
|2018-09-30|       2|  1|
|2018-09-30|      23|  4|
|2018-09-30|      37|  3|
|2018-09-30|       3|  2|
 ---------- -------- ---

預期輸出：

 ---------- -------- --- ------------ 
|      date| median | Q |result      |
 ---------- -------- --- ------------ 
|2018-03-31|       6|  1|        null|
|2018-03-31|      27|  2|          15|
|2018-03-31|       3|  3|          15|
|2018-03-31|      44|  4|        null|
|2018-06-30|       6|  1|        null|
|2018-06-30|       4|  3|          18|
|2018-06-30|      32|  2|          18|
|2018-06-30|     112|  4|        null|
|2018-09-30|       2|  1|        null|
|2018-09-30|      23|  4|        null|
|2018-09-30|      37|  3|          20|
|2018-09-30|       3|  2|          20|
 ---------- -------- --- ------------

或者

 ---------- -------- --- ------------ 
|      date| median | Q |result      |
 ---------- -------- --- ------------ 
|2018-03-31|       6|  1|          15|
|2018-03-31|      27|  2|          15|
|2018-03-31|       3|  3|          15|
|2018-03-31|      44|  4|          15|
|2018-06-30|       6|  1|          18|
|2018-06-30|       4|  3|          18|
|2018-06-30|      32|  2|          18|
|2018-06-30|     112|  4|          18|
|2018-09-30|       2|  1|          20|
|2018-09-30|      23|  4|          20|
|2018-09-30|      37|  3|          20|
|2018-09-30|       3|  2|          20|
 ---------- -------- --- ------------

我嘗試了以下代碼，但是當我包含 where 陳述句時，它會丟棄 Q=1 和 Q=4。

window = (    
    Window    
    .partitionBy("date")    
    .orderBy("date")    
)   
     
df_avg = (    
    df    
    .where(    
        (F.col("Q") == 2) |    
        (F.col("Q") == 3)    
    )    
    .withColumn("result", F.avg("median").over(window))    
)

uj5u.com熱心網友回復：

對于您的預期輸出，您可以使用條件聚合，avg與when( otherwise) 一起使用。

如果你想要第一個預期的輸出。

window = (    
    Window    
    .partitionBy("date", F.col("Q").isin([2, 3]))
)   
     
df_avg = (    
    df.withColumn("result", F.when(F.col("Q").isin([2, 3]), F.avg("median").over(window)))
)

對于第二個預期輸出。

window = (    
    Window    
    .partitionBy("date")       
) 

df_avg = (
    df.withColumn("result", F.avg(F.when(F.col("Q").isin([2, 3]), F.col("median"))).over(window))
)

uj5u.com熱心網友回復：

或者，由于您實際上是在聚合一個（小？）子集，請將 window 替換為 auto-join：

>>> df_avg = df.where(col("Q").isin([2,3])).groupBy("date","Q").agg(avg("median").alias("result"))
>>> df_result = df.join(df_avg,["date","Q"],"left")

結果可能比使用window.

轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/497524.html

標籤：阿帕奇火花 pyspark

上一篇：將字串列分為數字和C/D（貸記/借記）

下一篇：非閏月2月份的JS問題