大数据开发工程师岗位的主要职责概述.pdf
大数据开发工程师岗位的主要职责概述
大数据开发工程师负责大数据平台的技术和产品的设计、开发、
优化和维护。下面是小编为大家带来的大数据开发工程师岗位的主要
职责概述八篇，希望大家能够喜欢!
大数据开发工程师岗位的主要职责1
职责：
1、规划及建设大数据平台;
2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、
研发以及维护、优化工作;
3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;
4、参与项目的系统设计和核心代码开发，指导和培训其他工程
师;
5、整理和提交技术文档，负责核心功能模块的代码编写和测试
工作。
岗位要求：
1、计算机、统计学等相关专业本科及以上学历，具有深厚的数
学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，
3年以上大数据开发相关经验;
2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala
等一种以上语言;
3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布
式系统的技术原理;
4、精通MapReduce设计方法或Spark计算框架、对NoSQL，
Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有
充分的了解，并且有实践经验，能解决应用中的复杂问题;
5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、
Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis
等;
6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务
中进行定制改造者优先;
7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验
者优先。
大数据开发工程师岗位的主要职责2
职责：
1、参与大数据架构的规划设计，参与业务建模及数据化运营平台
的搭建、运维，对业务流程与大数据的结合提出建议和解决方案;
2、完成基于大数据平台的业务项目的开发、实施和维护工作;
3、负责解决大数据平台建设过程中的技术难点和性能调优工作;
4、参与数据仓库设计，根据业务需求实现高效率高灵活性的查询，
数据分析，数据挖掘;
5、负责高吞吐高可用数据实时和离线采集，高并发的大数据业务
架构设计
6、负责研发技术发展方向，新技术领域的探索，引入并验证数据
平台领域新技术，提供系统效能
7、对大数据技术及开源框架充满热情，具有钻研精神，能自我学
习。
任职资格：
1、具有5年Java开发经验，熟悉Spring生态，掌握Hibernate、
Mybatis任意一种ORM框架，掌握Oracle、Mysql数据库。
2、具有2年以上的大数据开发经验，熟悉大数据、数据仓库，分
布式架构技术理论，具有大数据整体系统架构设计和实战经验，熟悉
CDH、HDP、TDH至少一款大数据产品，有从无到有建设大数据平台
经验者优先;
3、熟悉大数据组件的开发、搭建、维护以及性能优化;
4、较强的开发能力，必须熟练使用相关开发语言
(Java/Python/Scala/Shell等)，熟悉大数据生态、关系数据库和
NOSQL数据库、Linux等相关知识，能够独立完成并指导初级开发人
员完成大数据相关的技术实现和调优;
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、
Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、
Phoenix等组件或技术，能阅读源码跟踪问题。
6、