Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
上QQ阅读APP看书,第一时间看更新

7.7 本章总结

本章阐述了Shuffle原理和源码,Shuffle的框架、Shuffle的框架演进、Shuffle的框架内核及源码、Shuffle数据读写的源码解析等内容;分别对Hash Based Shuffle、Sorted Based Shuffle、Tungsten Sorted Based、Shuffle与Storage模块间的交互进行了讲解。同时,本章着重阐述了BlockManager架构原理、运行流程和源码解密等内幕内容。