大数据工程师技能图谱【整理-转】
大数据通用处理平台
Spark/Flink/Hadoop
分布式存储
HDFS
资源调度
Yarn/Mesos
数据分析/数据仓库(SQL类)
Pig/Hive/kylin/Spark SQL/Spark DataFrame/Impala/Phoenix/ELK/ElasticSearch/Logstash/Kibana
消息队列
Kafka(纯日志类，大吞吐量)/RocketMQ/ZeroMQ/ActiveMQ/RabbitMQ
流式计算
Storm/JStorm
Spark Streaming
日志收集
Scribe/Flume
编程语言
Java/Python/R/Ruby
数据分析挖掘
MATLAB/SPSS/SAS
数据可视化
R/D3.js/ECharts/Excle
机器学习
聚类/时间序列/推荐系统/回归分析/文本挖掘/决策树/支持向量机/贝叶斯分类/神经网络
机器学习工具
Mahout/Spark Mlib/TensorFlow (Google 系)/Amazon Machine Learning/DMTK (微软分布式机器学习工具)
算法
数据结构：栈，队列，链表/散列表/二叉树，红黑树，B树/图
常用算法
排序：插入排序/桶排序/堆排序/快速排序/最大子数组/最长公共子序列/最小生成树/最短路径/矩阵的存储和运算
分布式一致性
paxos/raft/gossip
云计算
云服务：SaaS/PaaS/IaaS
Openstack/Docker
Hadoop 家族技能图谱
Hadoop/Zookeeper/Avro/Chukwa/Ambari/Whirr/Bigtop/HCatalog/Hue/HBase/Pig/SqoopCassandra/Hama/
Flume/Giraph/Oozie/Crunch/Hive/Mahout
Hive 技能图谱
Hive系统架构：MetaStore/Derby/MySQL
HDFS
/user/hive/warehouse
MapReduce
Hive配置文件
hive-env.sh/hive-site.xml/hive-log4j.properties
Hive命令行/HiveQL
软件集成
Zookeeper/Thrift/Ooize/HCatalog/AWS
协同过滤
基于用户协同过滤/基于物品协同过滤
相似度矩阵
欧氏距离/Pearson距离/余弦距离cosine/Spearman’s rank correlation coefficient/
Tanimoto coefficient/log-likelihood
近邻算法
按值取近邻/按比例取近邻
推荐算法
UserBasedRecommender/ItemBasedRecommender/SlopeOneRecommender/
SVDRecommender/KnnltemBasedRecommender/TreeClusteringRecommender
算法检验
全查率Recall/准查率Precision
数据模型
UserID,ltemID,PreferenceValue/UserID,ItemID
Hadoop集群部署
聚类
数据模型
DenseVector/RandomAccessSparseVector/SequentialAccessSpareVector
距离算法
欧式距离/欧式平方距离/马氏距离/余弦距离/Tanimoto距离/带权重距离
聚类算法
k-means/Canopy/Fuzzy k-means/Dirichlet/Topic moseling on LDA
