1 个回答

使用vacuum方法即可,例如:
val deltaTable = DeltaTable.forPath(spark, outputPath)
deltaTable.vacuum(1)
里面可以指定默认的保存时间,单位是小时,例如这里设置的是1,则保留时间小于1个小时的文件,超过1个小时的文件都删除掉。切记这里的小时如果低于168,则需要在spark session里面设置如下参数:
spark.databricks.delta.retentionDurationCheck.enabled = false
发布于:3个月前 (12-19)
我来回答
您需要 登录 后回答此问题!