Spark Shuffle之SortShuffleManager机制原理

1. SparkShuffle 概念 reduceByKey 会将上一个 RDD 中的每一个 key 对应的所有 value 聚合 成一个 value，然后生成一个新的 RDD，元素类型是<key,value>对的 形式，这样每一个 key 对应一个聚合起来的 value。 问题：聚合之前，每一个 key 对应的 value 不一定都是在一个 partition 中，也不太可能在同一个节点上，因为