人工智能中文网
  • 主页
  • 线代考研视频
  • 线性代数
  • Python机器学习与算法
  • 大数据与机器学习
  • Python基础入门教程
  • 人工智能中文网
    教程目录
    阅读:

    大数据市场前景及人才需求

    < 上一篇:大数据是什么 下一篇:数据是什么 >
    大数据产业既然如此炙手可热,那么大数据人才的待遇如何呢?这一点其实不用多说,只要大家时常关注一些猎头 QQ 群的状态,或者猎头朋友的签名档内容,再或者干脆到“猎聘网”、“前程无忧”等专业的人才中介网站去看看就会了然于胸,30 万年薪找不到人,40 万年薪找不到人,50 万、60 万还是找不到人,一时间可谓洛阳纸贵。这也从一个侧面说明,很多公司愿意花这么多薪水雇佣一位大数据人才,不管他的头衔是大数据科学家,还是大数据架构师,抑或是大数据产品经理,很显然这些公司都是把大数据产业发展作为自己的经营战略的重要组成部分来看待。

    大数据人才的一将难求其实不奇怪,因为人才既然是市场的一部分,是一种特殊的“商品”,那就必然受到市场因素的调节,供需严重失衡才会有这样的现象。但是,为什么大数据人才会供需严重失衡呢?原因有以下两个:
    1. 大数据产业发展迅速,很多公司都越来越意识到要将大数据作为自己公司经营战略不可或缺的一部分,就像销售、生产、公关这样的重要环节一样缺一不可。人才需求旺盛!
    2. 大数据人才培养成本居高不下,培养周期长,成材率相对较低,这也是导致大数据人才缺乏的一个非常重要的原因。人才供应不足!

    可发展方向

    从目前市场上的人才需求观点来看,大数据人才大致可以分为以下 3 个方向:
    1. 偏重基建与架构的“大数据架构”方向。
    2. 偏重建模与分析的“大数据分析”方向。
    3. 偏重应用实现的“大数据开发”方向。
    当然,也有理想主义者会认为能来个三合一的人才就更好了,但是知识宽度和知识深度本身就是一组矛盾,毕竟对于有限的学习时间和精力,能够在一方面做到运用自如已属不易。

    大数据架构方向

    大数据架构方向的人才更多注重的是 Hadoop、Spark、Storm 等大数据框架的实现原理、部署、调优和稳定性问题,以及它们与 Flume、Kafka 等数据流工具以及可视化工具的结合技巧,再有就是一些工具的商业应用问题,如 Hive、Cassandra、HBase、PrestoDB 等。能够将这些概念理解清楚,并能够用辩证的技术观点进行组合使用,达到软/硬件资源利用的最大化,服务提供的稳定化,这是大数据架构人才的目标。

    以下是大数据架构方向研究的主要方面:
    • 架构理论:关键词有高并发、高可用、并行计算、MapReduce、Spark 等。
    • 数据流应用:关键词有 Flume、Fluentd、Kafka,ZMQ 等。
    • 存储应用:关键词有 HDFS、Ceph 等。
    • 软件应用:关键词有 Hive、HBase、Cassandra、PrestoDB 等。
    • 可视化应用,关键词有 HightCharts、ECharts、D3、HTML5、CSS3 等。
    大数据架构师除了最后可视化的部分不需要太过注意(但是要做基本的原理了解)以外,其他的架构理论层面、数据流层面、存储层面、软件应用层面等都需要做比较深入的理解和落地应用。尤其是需要至少由每一个层面中挑选一个可以完全纯熟应用的产品,然后组合成一个完整的应用场景,在访问强度、实现成本、功能应用层面都能满足需求,这是一个合格的大数据架构师必须完成的最低限要求。

    大数据分析方向

    大数据分析方向的人才更多注重的是数据指标的建立,数据的统计,数据之间的联系,数据的深度挖掘和机器学习,并利用探索性数据分析的方式得到更多的规律、知识,或者对未来事物预测和预判的手段。

    以下是大数据分析方向研究的主要方面。
    • 数据库应用:关键词有RDBMS、NoSQL,MySQL、Hive、Cassandra等。
    • 数据加工:关键词有ETL、Python等。
    • 数据统计:关键同有统计、概率等。
    • 数据分析:关键词有数据建模、数据挖掘、机器学习、回归分析、聚类、分类、协同过滤等。
    此外还有一个方面是业务知识。

    其中,数据库应用、数据加工是通用的技术技巧或者工具性的能力,主要是为了帮助分析师调用或提取自己需要的数据,毕竟这些技巧的学习成本相对较低,而且在工作场景中不可或缺,而每次都求人去取数据很可能会消耗过多的时间成本。

    数据统计、数据分析是分析师的重头戏,一般来说这两个部分是分析师的主业,要有比较好的数学素养或者思维方式,而且一般来说数学专业出身的人会有相当的优势。

    最后的业务知识方面就是千姿百态了,毕竟每家行业甚至每家公司的业务形态都是千差万别的,只有对这些业务形态和业务流程有了充分的理解才能对数据分析做到融会贯通,才有可能正确地建立模型和解读数据。

    大数据开发方向

    大数据开发方向的人才更多注重的是服务器端开发,数据库开发,呈现与可视化,人机交互等衔接数据载体和数据加工各个单元以及用户的功能落地与实现。

    以下是大数据开发研究的主要方面。
    • 数据库开发:关键词有 RDBMS、NoSQL,MySQL,Hive 等。
    • 数据流工具开发:关键词有 Flume、Heka、Fluentd,Kafka、ZMQ 等。
    • 数据前端开发:关键词有 HightCharts、ECharts、JavaScript、D3、HTML5、CSS3 等。
    • 数据获取开发:关键词有爬虫、分词、自然语言学习、文本分类等。
    可以注意到,大数据开发职种和大数据架构方向有很多关键词虽然是重合的,但是措辞不一样,一个是“应用”,一个是“开发”。区别在于,“应用”更多的是懂得这些这种技术能为人们提供什么功能,以及使用这种技术的优缺点,并擅长做取舍;“开发”更注重的是熟练掌握,快速实现。

    最后一个方面,数据获取开发与前面的数据库开发、数据流工具开发、数据前端开发略有不同,它出现的时间相对较晚,应用面相对较窄。现在很多数据公司,如汤森路透、彭博等咨询公司的数据除了从专业行业公司直接得到以外,很多也是从互联网上爬取的,这个过程中也涉及一些关键技术。

    大数据产业已经向我们敞开了大门,整个产业才刚刚开始萌芽,只要我们肯多进行观察、学习和思考,任何领域任何业务都会享受到大数据产业为我们带来的各种好处。
    < 上一篇:大数据是什么 下一篇:数据是什么 >