素材网站源码地推公司
Spark系列之：使用spark合并hive数据库多个分区的数据到一个分区中
- 把两个分区的数据合并到同一个分区下
- 把其中一个分区的数据通过append方式添加到另一个分区即可
%spark
val df = spark.sql("select * from optics_prod.product_1h_a where datetime='2023111423'").repartition(10).write.mode("append").parquet("/optics-prod/dwh/ods/optics/product_1h_a/datetime=2023112223")