Spark的Shuffle机制

MapReduce中的Shuffle 转载于: http://www.jianshu.com/p/60bab35bc01e 在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。 Shuffle是MapReduce框架中的一个特定的phase,介于Ma
相关文章
相关标签/搜索