我在 python 中有一個資料框 df,我想傳遞它以便能夠在 % scala 中使用。
我試過了 -
%python
pyDf.createOrReplaceTempView("testDF") // error message
uj5u.com熱心網友回復:
這不是太難。我正在分享一個示例代碼,請嘗試。它在 Pycharm 或 databricks 中作業。
從 pyspark.sql 匯入 *
將熊貓匯入為 pd
spark = SparkSession.builder.master("local").appName("testing").getOrCreate()
資料 = [['venu', 50], ['renu', 45], ['anu', 54],['bhanu',14]]
創建熊貓資料框
pdf= pd.DataFrame(資料,列 = ['姓名','年齡'])
列印(pdf)
Python Pands 轉換為 Spark Dataframe。
sparkDF=spark.createDataFrame(pdf)
sparkDF.printSchema()
sparkDF.show()
uj5u.com熱心網友回復:
只需查詢它spark.sql
:
val scalaDf = spark.sql("select * from testDF")
轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/467644.html
上一篇:將類名作為字串引數傳遞以創建實體