您的当前位置:首页正文

大数据架构师的工作职责描述

2020-10-15 来源:澳客旅游网

  职责:

  1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

  2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

  4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

  任职要求:

  1、本科及以上计算机相关专业毕业;

  2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括Storm、SparkStreaming等;

  3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;

  4、掌握常见数据流接入工具,包括Flume、kafka等;

  5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

  6、掌握一种或以上实时处理语言,如JAVA、SCALA、PYTHON等,有SCALA经验者优先;

  7、有实际大规模数据(TB级以上)处理经验优先;

因篇幅问题不能全部显示,请点此查看更多更全内容