Spark分布式处理实战
上QQ阅读APP看书,第一时间看更新

项目1 Spark集群环境搭建

本项目讲解Spark计算引擎的安装及任务提交和运行的方法。Spark是一种快速、通用、可扩展的大数据分析引擎,在大数据分析领域得到广泛应用。为了能够发挥并行计算的优势,大数据计算任务一般在集群环境中完成。本项目以3台服务器节点构建的集群环境为基础,详细讲解搭建Spark集群的步骤。读者按照本项目的步骤进行操作就可以完成Spark集群的搭建。

思政目标

培养学生勇于实践创新、科学严谨的工作态度。

培养学生勤于思考,追求卓越的科学精神。

理解Spark的基本原理。

掌握安装Spark集群的方法。

掌握Spark集群启动和停止的方法。

掌握向Spark集群提交任务的基本方法。