文章目录
- 1、keys算子
- 功能
- 语法
- 举例
- 2、values算子
- 功能
- 语法
- 举例
1、keys算子
功能
针对二元组KV类型的RDD
,返回RDD中所有的Key,放入一个新的RDD中
语法
def keys(self: RDD[Tuple[K,V]] ) -> RDD[K]
举例
如何构造sc对象并创建RDD 参考文章:
【Spark中创建RDD的两种方式】Spark中如何获取sc对象、以及创建RDD的两种方式
rdd_kv = sc.parallelize([('laoda',11),('laoer',22),('laosan',33),('laosi',44)], numSlices=2)
rdd_keys = rdd_kv.keys()
rdd_keys.foreach(lambda x: print(x))
2、values算子
功能
针对二元组KV类型的RDD
,返回RDD中所有的Value,放入一个新的RDD中
语法
def values( self: RDD[Tuple[K,V]] ) -> RDD[V]
举例
rdd_kv = sc.parallelize([('laoda',11),('laoer',22),('laosan',33),('laosi',44)], numSlices=2)
rdd_values = rdd_kv.values()
rdd_values.foreach(lambda x: print(x))