用spark读取及存储数据

读取数据

data = spark.sql("""select * from temp.tables""")
data.show(3)# 转成pandas方式
# df = data.toPandas()
# df.head(3)

存储数据

table = "temp.new_tables"
data.write.format("hive").mode("overwrite").saveAsTable(table)
data = spark.sql("""select * from temp.new_tables""")
data.show(3)# 转成pandas方式
# df = data.toPandas()
# df.head(3)