成为一个大数据开发工程师的学习步骤?

大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小白的话,那就只能成为一名工程师的后再来学习大数据。

一、认识大数据

大数据本质其实也是数据,不过也包括了些新的特征,

而针对以上新的特征需要考虑很多问题:

对于这些问题,我们需要有相对应的知识解决。

二、大数据所需技能要求

Python语言:编写一些脚本时会用到。

Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。

Ozzie,azkaban:定时任务调度的工具。

Hue,Zepplin:图形化任务执行管理,结果查看工具。

Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。

必须掌握的技能:

Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条:机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio

三、学习规划

第一阶段(基础阶段)

  1. Linux学习 Linux操作系统介绍与安装、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。
  2. Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》) 掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。
  3. Zookeeper学习 Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令。

第二阶段(攻坚阶段)

Hadoop、Hive、HBase、Scala、Spark、Python

第三阶段(辅助工具工学习阶段)

Sqoop、Flume、Oozie、Hue这些工具的学习

一、大数据工程师的技能要求

一、大数据工程师的技能要求

附上二份比较权威的大数据工程师技能图(图侵删)

总结如下:

必须技能10条: 01.Java高级(虚拟机、并发) 02.Linux 基本操作 03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn ) 04.HBase(JavaAPI操作+Phoenix ) 05.Hive(Hql基本操作和原理理解) 06.Kafka 07.Storm 08.Scala需要 09.Python 10.Spark (Core+sparksql+Spark streaming )

高阶技能6条: 11.机器学习算法以及mahout库加MLlib 12.R语言 13.Lambda 架构 14.Kappa架构 15.Kylin 16.Aluxio

经验分享 程序员 微信小程序 职场和发展