大数据工程师岗位JD中最常出现的技能
工作内容
-
构建大数据分析平台 参与业务数据建设、参与数据专题体系建设、数据中台建设 数据分析和挖掘工作 基于数据的离线和实时流分析 支撑业务的数据模型建设以及数据指标的计算和分析 数据存储、查询和运营数据分析体系搭建 运用HadoopSparkES等分布式计算和存储平台 ETL流程的优化
必备技能一览
-
Hadoop相关技术（开发、部署、调优），理解MapReduce原理和过程 编程语言：C/Python/Java（常用框架和中间件）/Scala/PHP/C++/go/rust Spark/Flink(架构及开发)、ES、Flume/Filebeat、Kafka/RocketMQ/RabbitMQ相关技术深入了解 熟练使用SQL Windows/Unix/Linux/Kuberbetes/Docker主流操作系统原理，熟练运用系统层进行应用开发 ETL开发 良好编码习惯 分布式有深入了解 hive SQL数据开发 数仓概念 数据模型基础知识、数据建模 可视化工具TableauPowerBIFineReport 数据库架构设计、数据库设计 分布式大数据平台开发项目经验
可选技能和荣誉
-
大数据演进 Redis/Clickhouse/图数据库开发经验 编程大赛获奖 大数据云平台、计算存储平台、可视化平台开发经验 熟悉软件工程开发流程 计算机技能：Storm/Hive/Hbase/Storm/Kafka/HDFS 数据挖掘算法的理解 SAP BW/HANA数仓经验
上一篇：
JS实现多线程数据分片下载