[主编视点]数据科学与大数据技术专业培养哪些人才?

大数据与数据科学家2019-03-14 15:34:43

最近,教育部公布了新一批获批开设数据科学与大数据专业的高校,迄今为止,全国有300余所高校开设了数据科学与大数据相关本科专业。“数据科学与大数据技术”是一个内涵和外延都非常丰富的专业,不同类型学校的“数据科学与大数据技术”专业培养的人才也有所不同。很多老师和同学非常关心实际的大数据项目中对人才有何需求?在这个专业中要学习哪些知识、提升哪些能力才能成为企业需要的人才?要回答这个问题,我们必须首先了解真实的大数据项目研发过程。


下图展现了一个大数据类项目开发的一般过程。可以看到,和传统的信息化项目不同,大数据类项目更加试图去深入挖掘数据内部的价值,而其所管理的数据量更大。从这个开发过程中可以总结出不同阶段所需要的专门人才以及相应的岗位和能力要求。



(1)   从数据和诉求到需求——数据产品经理


对于一个大数据类项目,其缘起通常是一家单位的信息化已经完成,在信息系统中积累了足够多的数据,期望利用这些数据产生新价值。这样的单位能够提供的是数据和诉求,而如何构建以数据为中心的软件系统的需求并不明确,这就需要有专业人员与企业管理人员和数据管理人员想沟通,解决用数据做什么的问题,最终形成数据驱动软件系统需求,即数据驱动软件的功能究竟是什么。

 

(2)   从需求到模型——数据分析师/数据科学家


需求明确以后,就可以根据为软件设计的每项具体的功能定义相应的计算问题。数据驱动软件系统和其他软件的核心区别在于数据驱动软件中核心功能是基于数据产生新价值,这需要对数据进行分析、转化、清洗等操作,其中每一个操作都需要对其建立模型,确定输入输出的数据模式以及数据的转换模型。这就需要数据分析师或者数据科学家这一角色,根据明确的需求建立数据分析模型。这里的分析模型是广义的分析模型,包括狭义的数据分析、数据挖掘、数据分析、查询处理等。

 

(3)   从需求到架构——大数据系统架构师


如果说分析模式是数据驱动软件系统的灵魂,那么系统架构是数据驱动软件系统的骨骼,确定了软件的架构、模块以及各部分之间的接口,这是大数据系统架构师的职责。数据驱动软件系统和传统软件系统相比,有系统架构需以数据为核心、通常架构在某一种大规模计算平台之上、需要充分考虑各项任务的实时性要求和系统的数据量等要求。大数据系统架构师需要充分考虑这些要求,在此基础上设计系统架构。

 

(4)   从模型和架构到算法——算法科学家/算法工程师


定义好了分析模型和系统架构,基于此将数据驱动软件系统中每一个计算问题都定义清楚了,设计求解这些计算问题的算法就是算法科学家的工作,实现这些算法是算法工程师的工作。针对大数据的算法科学家的独特之处在于需要充分考虑数据量、计算的实时性要求和硬件环境要求,设计近似算法、并行算法、外存算法等算法,使得针对输入数据量,能够在实时性约束内在硬件环境下计算得到满足要求的结果。针对大数据算法进行实现的工程师,同样需要充分考虑面向大数据可扩展性和效率的需求,进行有效的实现。

 

(5)   从算法到系统——大数据系统开发工程师


算法工程师的职责是对“点”问题的解决,系统开发工程师的职责则是对“系统”问题的整体解决,系统开发工程师需要充分考虑平衡系统效率、系统复杂度、算法之间的配合等因素,将高效算法模块形成高效的系统。

 

(6)   从系统到稳定的系统——大数据系统运维工程师


系统的开发结束是软件系统生命周期的开始而并非结束,因而在系统上线运行之后还需要系统运维工程师这一重要角色。对于大数据系统而言,随着数据的持续增加、数据分布的变化、数据源的增加、数据模式的更改以及计算形式的改变,系统的性能可能会受到影响,甚至难以有效运行。这就需要大数据系统运维工程师监控系统问题,预警系统故障,溯源系统问题,调优系统运行参数,并为迭代新系统提供建议。

 

对于上述每一类人才都有着巨大的市场需求,不同类型的学校和专业会根据自己的特点,面向其中一类或者几类人才开展培养。例如,偏重于统计学或者商科的专业可以重点培养数据分析师和数据科学家,偏重于研发的专业可以重点培养系统架构师、系统开发工程师、算法工程师,偏重应用的专业可以重点培养数据产品经理和大数据系统运维工程师,偏重于研究的专业可以重点培养系统架构师和算法科学家,而各个具体业务专业(如金融、能源、机械、交通等)可以面向本学科的需求培养本领域专门的数据产品经理。


限于篇幅,本文仅仅是从人才需求和岗位职责的角度加以解读,供建设专业的同仁们探讨、供有志于投身大数据和数据科学领域的同学们参考。接下来,笔者还将尝试从知识点、能力点等方面对每一类人才进行深入剖析。



“大数据与数据科学家”公众号

主编:王宏志

特邀副主编: 朱劼

副主编: 丁小欧

责任编辑: 齐志鑫,宋扬,万晓珑、魏龑,张荣恩

编辑: 陶颖安


-精彩内容,记得分享到朋友圈-

长按下图并点击 “识别图中二维码”,即可关注大数据与数据科学家微信公共号 



Copyright © 古田计算器虚拟社区@2017