岗位职责:
1、根据需求,对多平台数据源进行数据采集及处理。
2、通过逆向、图像识别等技术提升爬虫核心技术突破。
3、负责对MySQL数据库的查询设计与维护工作。
4、设计数据采集策略,提升数据采集效率及质量。
5、完成上级及领导安排分配的其他工作。
任职要求:
1、本科以上学历,大数据、计算机专业相关优先,有数据爬取、数据库建立、数据查找经验。
2、掌握至少一种开发语言Java/Python,具备良好的编码能力、扎实的数据结构知识。
3、有反爬相关问题处理经验,熟悉常用的爬虫技术及架构设计。
4、了解各种Web前端技术,包括XHTML/XML/CSS/JavaScript/AJAX等。
5、对分布式、多线程、缓存等常用互联网技术有一定了解。
6、熟悉移动端APP安全及逆向技术、图像识别技术、WebKit或其他浏览器引擎、JavaScript逆向技术。
7、熟悉TCP/IP,HTTP及相关网络协议。
8、有较强的逻辑思维,工作缜密仔细,有良好的团队沟通和协作能力。