大数据平台工程师 – 云平台与架构团队

请注意,这不是一个远程职位。您将在我们亚洲的办公室进行工作。

利用数据与技术更好地构建千万级别的数字交易平台并为终端用户提供优秀的体验是公司非常重要的核心。数据平台部门的主要使命是充分利用原生的云计算服务与主流开源技术(Kafka, , Hadoop, Hive, Presto, Spark等) 设计并实现基于数据用户需求的、安全并且高度可扩展的大数据平台,例如:
基于Spark-Streaming实现低延时和准确的数据分析平台,为业务用户实现实时分析与业务判断。
利用Cascading等开源框架构建基于Hadoop的工作流实现,实现计算任务的自动调度。
利用运维自动化技术(例如Terraform)实现计算环境的自动化部署,并结合监控工具构建实时的监控与自动恢复平台。
构建统一的机器学习平台为数据科学家提供算法平台,并构建高可用可扩展的预测API等。

我们期望您具备扎实的大型互联网数据系统架构设计,实施与运维经验,习惯跨团队协作和合作,良好的沟通与技术动手能力。我们也期望您具备扎实的从前端的系统需求分析,架构设计,到实现与部署实际项目动手经验。

工作要求:
  • 2年以上基于Hadoop生态的大数据系统架构设计,部署与运维经验
  • 具备TB到PB级别的数据平台的项目经验
  • 精通Python, Java, Scala等语言并且具备实际的项目经验
  • 对运维自动化与监控有一定的经验
  • 良好的团队合作与沟通能力
  • 计算机相关本科或者硕士学历
  • 良好的英文听说读写能力


优先考虑:
  • 有大型互联网数据系统的平台架构设计与实践经验
  • 数据仓库的设计与实现经验(Hive等)
  • 熟悉主流的云计算平台: AWS, Azure, Aliyun 等
  • 扎实的DevOps运维自动化,容器等部署与方案设计与项目经验
  • 热爱专研大数据与机器学习技术