岗位职责:
1、负责大数据平台的功能设计和开发;
2、熟悉主流大数据计算引擎Hadoop、Spark、HBase、Hive、ES等分布式相关的技术及组件,深刻理解内部机制和原理;
3、熟练掌握Java开发语言,具备迅速处理复杂数据的能力。
任职要求:
1、本科及以上学历,计算机相关专业;
2、具备大型分布式、高并发、高负载、高可用系统设计、开发及调优经验,有大数据平台的软件开发、部署经验;
3、熟悉Spark分布式计算框架原理和编程模型,zookeeper 分布式协调服务的使用;
4、熟悉 Hadoop生态圈技术栈、HBase、Hive、MapReduce等;
5、熟悉Spring等后台开发框架,以及MySQL等关系数据库的设计与优化;
6、熟悉 Spark、Kafka、Zookeeper、K8S等开源组件,具备开源项目集成开发经验优先;
7、熟悉主流大数据计算引擎MapReduce Hadoop、Pig、Spark、HBase、Hive等分布式相关的技术及组件,深刻理解内部机制和原理;
8、熟悉Kafka、Elasticsearch、Flink等实时系统组件;
9、具有良好的编程能力,熟练掌握Java(或者Scala),具备迅速处理复杂数据的能力;
10、追求优秀的设计和代码质量,有良好的责任心和执行力,具备独立分析能力、解决问题能力;
11、有Hadoop、Spark、HBase深入源代码分析经验,熟悉数据仓库的技术架构和实施方法论,并支撑过实际业务场景优先;
12、 熟悉容器、k8s的使用。