我正在嘗試使用以下命令從 sql 表中流式傳輸：
my_sales = spark.read.jdbc(jdbcUrl, dbo.table)
static = spark.read.format("csv").load(my_sales)
dataSchema = static.schema
我正在嘗試使用以下內容從表中讀取資料：
rawdf = (spark.readStream
.format("csv") \
.option("maxFilesPerTrigger", 1) \
.schema(dataSchema) \
.csv(dataPath)
)
我正在使用以下內容將資料寫入以下位置
saveloc = '/mnt/raw/streaminglocation/'
streamingQuery = (
rawdf
.writeStream
.format("csv")
.outputMode("append")
.option("checkpointLocation", f"{saveloc}/_checkpoints")
.option("mergeSchema", "true")
.start(saveloc)
)
然而這失敗了。
是否可以從 SQL 表流式傳輸？
uj5u.com熱心網友回復：
這不可能。Spark 結構化流式處理不支持 JDBC 源。
也不相信前期編碼。
將 CDC 與 Kafka 結合使用，或者將 CDC 與 KAFKA 或 Debezium 結合使用的物化可更新視圖。
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/436858.html