---

1、repartition

功能

调整RDD的分区个数，一般用于调大分区个数，必须经过shuffle才能实现，repartition底层就是 coalesce(shuffle=True)

语法

def repartition(self,numPartitions) -> RDD[T]

其中：
numPartitions是调整之后的分区数量

举例

如何构造sc对象并创建RDD 参考文章：
【Spark中创建RDD的两种方式】Spark中如何获取sc对象、以及创建RDD的两种方式

list01 = [1, 5, 2, 6, 9, 10, 4, 3, 8, 7]
# 没有指定分区，默认为2（sc对象需要构建）
rdd = sc.parallelize(list01)
# repartition 调整为4个分区，必然经历shuffle过程
bigrdd = rdd.repartition(4)

2、coalesce

功能

调整RDD的分区个数，可以选择是否经过Shuffle，默认情况下不经过shuffle

语法

def coalesce(self, numPartitions, shuffle：bool) -> RDD[T]

将一个小分区变为大分区，shuffle 必须等于True，否则分区数不发生改变
将一个大分区变为小分区，shuffle 可以等于 Flase

举例

list01 = [1, 5, 2, 6, 9, 10, 4, 3, 8, 7]
# 没有指定分区，默认为2
rdd = sc.parallelize(list01)
# 将一个小分区变为大分区，shuffle 必须等于True，否则分区数不发生改变
# 将一个大分区变为小分区，shuffle 可以等于 Flase
bigrdd = rdd.coalesce(8,shuffle=True)