1、熟悉Hadoop大数据生态圈技术,熟悉对分布式存储Hdfs,Hive,Hbase,计算框架 Spark,Prosto,Hive,Impala等工作原理。
2、熟悉并掌握离线和实时数据处理流程,熟练使用Kafka,Spark,Flink处理海量数据。
3、熟练使用星环大数据平台相关产品,熟悉SQL优化,参与大数据应用规划,为数据产品、挖掘团队提供应用指导。
4、精通Hive、Spark数据处理和优化。
5、熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,精通3NF和维度模型设计;
6、具有一定算法研究与设计能力。
7、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力;