【工作内容】
- 负责设计、开发和维护大规模的数据处理系统，包括数据仓库、ETL流程以及数据湖架构。
- 使用Hadoop、Spark等大数据技术栈进行数据清洗、转换及加载操作，确保数据质量和一致性。
- 与业务团队紧密合作，理解业务需求，将复杂业务逻辑转化为高效的数据处理方案。
- 对现有数据处理流程进行性能优化，提升数据处理速度和效率。
- 构建自动化测试框架，保证数据处理系统的稳定性和准确性。
- 参与数据安全策略的制定，确保数据处理过程中的信息安全。