大数据数学基础
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

总序

短短几年间,大数据的发展速度一日千里,快速实现了从概念到落地的进程,直接带动了相关产业的井喷式发展。全球多家研究机构统计数据显示,大数据产业将迎来发展黄金期。

数据采集、数据存储、数据挖掘、数据分析等大数据技术在越来越多的行业得到了应用,随之而来的就是大数据人才问题。麦肯锡预测,每年数据科学专业的应届毕业生将增加7%,然而仅高质量项目对专业数据科学家的需求每年就会增加12%,完全供不应求。根据相关报道,未来3~5年,中国需要180万数据人才,但目前只有约30万人,人才缺口近150万人。

以贵州大学为例,其首届大数据专业研究生就业率达到100%,可以说被“一抢而空”。急切的人才需求直接催热了大数据专业,教育部正式设立“数据科学与大数据技术”本科专业。

不过,就目前而言,在大数据人才培养和大数据课程建设方面,大部分高校仍然处于起步阶段,需要探索的问题还很多。首先,大数据是个新生事物,懂大数据的老师少之又少,院校缺“人”;其次,尚未形成完善的大数据人才培养和课程体系,院校缺“机制”;再次,大数据实验需要为每个学生提供集群计算机,院校缺“机器”;最后,院校没有海量数据,开展大数据教学科研工作缺少“原材料”。

其实,早在网格计算和云计算兴起时,我国科技工作者就曾遇到过类似的挑战,我有幸参与了这些问题的解决过程。为了解决网格计算问题,我在清华大学读博期间,于2001年创办了中国网格信息中转站网站,每天花几个小时收集有价值的资料并分享给学术界,此后我也多次筹办和主持全国性的网格计算学术会议,进行信息传递与知识分享。2002年,我与其他专家合作完成的《网格计算》教材也正式面世。

2008年,当云计算开始萌芽之时,我创办了中国云计算网站,2010年编写了《云计算》,2011年和2015年分别编写了《云计算》第2版和第3版,每一版都花费了大量成本制作并免费分享了对应的几十个教学PPT。目前,这些PPT的下载总量达到了几百万次。同时,《云计算》各版次图书也成为国内高校的首选教材。在CNKI公布的高被引图书名单中,《云计算》在自动化和计算机领域排名全国第一(统计2010年后出版的所有图书)。除了资料分享,2010年我还在南京组织了全国高校云计算师资培训班,培养了国内第一批云计算老师,并通过与华为、中兴、360等知名企业合作,输出云计算技术,培养云计算研发人才。这些工作获得了大家的认可和好评,此后我接连担任了工业和信息化部云计算研究中心专家、中国云计算专家委员会云存储组组长等。

近几年,面对日益突出的大数据发展难题,我也正在尝试使用此前类似的办法去应对这些挑战。为了解决大数据技术资料缺乏和交流不够通透的问题,我于2013年创办了中国大数据网站,投入大量的人力进行日常维护;为了解决大数据师资匮乏的问题,我面向全国院校陆续举办了多期大数据师资培训班。从2016年年底至今,我在南京多次举办全国高校/高职/中职大数据免费培训班,基于《大数据》《大数据实验手册》及南京云创大数据科技股份有限公司(以下简称“云创大数据”)提供的大数据实验平台,帮助到场老师跑通了Hadoop、Spark等多个大数据实验,使他们跨过了“从理论到实践,从知道到用过”的门槛。2017年5月,我还举办了全国千所高校大数据师资免费讲习班,盛况空前。

其中,为了解决大数据实验难的问题而开发的大数据实验平台,为高校的教学科研带去方便:2016年,我带领云创大数据的科研人员,应用Docker容器技术,成功开发了BDRack大数据实验一体机,打破了虚拟化技术的性能瓶颈,可以为每个参加实验的人员虚拟出Hadoop集群、Spark集群、Storm集群等,自带实验所需数据,并准备了详细的实验手册(包含42个大数据实验)、PPT和实验过程视频,可以开展大数据管理、大数据挖掘等各类实验,并可以进行精确营销、信用分析等多种实战演练。大数据实验平台已经在郑州大学、西京学院、郑州升达经贸管理学院、镇江高等职业技术学校等多所院校成功应用,并广受校方好评。

同时,为了解决缺乏权威大数据教材的问题,我所负责的南京大数据研究院,联合金陵科技学院、河南大学、云创大数据、中国地震局等多家单位,历时两年,编著出版了适合本科教学的《大数据》《大数据库》《大数据实验手册》《数据挖掘》《大数据可视化》《深度学习》《Python程序设计》等教材。另外,《大数据数学基础》等本科教材也将于近期出版。在大数据教学中,本科院校的实践教学应更具系统性,偏向新技术的应用,且对工程实践能力要求更高;而高职高专院校则更偏向技术性和技能训练,理论以够用为主,学生将主要从事数据清洗和运维方面的工作。基于此,我们还联合多家高职院校的专家准备了《云计算基础》《大数据基础》《数据挖掘基础》《R语言》《数据清洗》《大数据系统运维》《大数据实践》系列教材。

此外,这些图书的配套PPT和其他资料也将继续在中国大数据和中国云计算等网站免费提供。同时,免费的物联网大数据托管平台万物云和环境大数据免费分享平台环境云将持续开放,使资源与数据唾手可得,让大数据学习变得更加轻松。

在此,特别感谢我的硕士生导师谢希仁教授和博士生导师李三立院士。谢希仁教授所著的《计算机网络》已经更新到第8版,与时俱进且日臻完善,时时提醒学生要以这样的标准来写书。李三立院士是留苏博士,为我国计算机事业做出了杰出贡献,曾任国家攀登计划项目首席科学家。他严谨治学,带出了一大批杰出的学生。

本丛书是集体智慧的结晶,在此谨向付出辛勤劳动的各位作者致敬!书中难免会有不当之处,请读者不吝赐教。

我的邮箱:gloud@126.com。

刘鹏

于南京大数据研究院