岗位职责：
1、负责大数据平台的功能设计和开发；
2、熟悉主流大数据计算引擎Hadoop、Spark、HBase、Hive、ES等分布式相关的技术及组件，深刻理解内部机制和原理；
3、熟练掌握Java开发语言，具备迅速处理复杂数据的能力。
任职要求：
1、本科及以上学历，计算机相关专业；
2、具备大型分布式、高并发、高负载、高可用系统设计、开发及调优经验，有大数据平台的软件开发、部署经验；
3、熟悉Spark分布式计算框架原理和编程模型，zookeeper 分布式协调服务的使用；
4、熟悉 Hadoop生态圈技术栈、HBase、Hive、MapReduce等；
5、熟悉Spring等后台开发框架，以及MySQL等关系数据库的设计与优化；
6、熟悉 Spark、Kafka、Zookeeper、K8S等开源组件，具备开源项目集成开发经验优先；
7、熟悉主流大数据计算引擎MapReduce Hadoop、Pig、Spark、HBase、Hive等分布式相关的技术及组件，深刻理解内部机制和原理；
8、熟悉Kafka、Elasticsearch、Flink等实时系统组件；
9、具有良好的编程能力，熟练掌握Java（或者Scala），具备迅速处理复杂数据的能力；
10、追求优秀的设计和代码质量，有良好的责任心和执行力，具备独立分析能力、解决问题能力；
11、有Hadoop、Spark、HBase深入源代码分析经验，熟悉数据仓库的技术架构和实施方法论，并支撑过实际业务场景优先；
12、 熟悉容器、k8s的使用。