课程名称:大数据软件工程师
超多项目实战,全方位接轨企业需求
电商消费行为分析 电商项目
项目介绍:根据用户在电商网站的消费行为日志数据以及数据库数据等,分析用户的消费习惯以及消费偏好,进行构建用户画像,并对用户消费行为进行分析。
术够架:Flume+Kafka+Hive+HBase+Oozie+Spark SQL+Redis+MySQL+Zeppelin
主要业务:对电商网站日志进行收集,清洗; 对用户构建用户画像;
通过Hive对用户消费行为分析;
通过Oozie进行ETL任务调度;
通过Zeppelin进行数据可视化展示;
项目特色:基于电商日志数据构建用户画像,完整的企业级离线大数据处理项目,完成该项目可胜任企业离线大数据开发工作。
拒绝断崖式教学
——循序渐进开启稳步提升的实力进阶之旅
STEP1:JavaEE
Java基础入门
Java面向对象
Java高级API
MySQL
Java Web
SSM
Linux编程
ELK
学习目标
可掌握的核心能力
1.掌握JavaEE核心技术
2.能够使用MySQL操作和管理数据
3.掌握Java SSM框架的使用
4.能够完成Java Web项目
5.熟悉Linux编程的基本使用
6.通过ELK了解数据处理的整个过程
可解决的现实问题
能够完成Java Web项目
能够搭建Linux环境并进行shell编程
市场价值
可胜任初级Java工程师的工作需求,月薪8000-10000元
STEP2: Hadoop
HDFS
MapReduce
Hive
HBase
Sqoop
学习目标
可掌握的核心能力
1.掌握Hadoop平台核心技术
2.掌握Hive开发
3.掌握HBase开发
4.掌握离线项目开发所需技能
可解决的现实问题
能够完成基于Hadoop的离线大数据项目
市场价值
可胜任初级大数据离线处理工作,如ETL工程师,Hive工程师,数据仓库工程师,HBase工程师等,月薪10000-13000元
STEP3: Spark
Scala编程
Spark Core
Spark SQL
Spark GraphX
Spark 机器学习
学习目标
可掌握的核心能力
1.掌握Scala基本编程
2.掌握Spark架构基本内容及原理
3.掌握Spark开发及使用
4.解Spark机器学习
可解决的现实问题
能够完成基于Scala的Spark代码开发
市场价值
大数据知识提升阶段,可掌握Spark基本原理及使用,可胜任Spark开发工作,如Spark开发工程师,大数据实时处理工程师等,月薪14000-16000元
STEP4:
Python数据处理技术
Python编程
Python数据爬取
Python数据采集/整理与清洗
Python机器学习
PySpark
学习目标
可掌握的核心能力
1.掌握Python基本使用
2.掌握Python核心库的使用
3.掌握Python爬虫
4.掌握Python简单数据分析
5.理解Python机器学习
可解决的现实问题
能够完成Python爬虫项目的开发
会使用Python进行简单的数据分析
市场价值
可胜任Python爬虫工程师,初级机器学习工程师工作,月薪16000-20000元
STEP5: 项目实践
学习内容:
构建离线数据分析平台—用户兴趣取向分析
实时流处理平台—股票流数据实时分析
混合计算项目实战—教育平台大数据分析
在线教育全文检索平台
学习目标
可掌握的核心能力
1.掌握大数据项目开发的基本流程,
2.掌握项目开发的具体实现方法。
可解决的现实问题
掌握大数据项目开发流程及相关技术
处理企业真实项目的开发
市场价值
经过大量项目实战,可胜任大数据开发工程师,Spark工程师,可视化工程师,ETL工程师相关工作。月薪18000-24000元
STEP6:
大数据系统管理优化
学习内容:
提升系统的可靠性(High Availability)
提升系统的安全性-认证(Authentication)
授权(Authorization)及审计(Auditing)
数据保护
学习目标
可掌握的核心能力
1.掌握大数据高可用集群管理
2.理解并掌握系统的安全性、授权及审计、数据保护等技能
可解决的现实问题
处理并解决企业关于集群管理和系统安全方面的问题
市场价值
可胜任中级大数据开发工程师的需求,月薪20000-26000元
STEP7:阿里云平台
学习内容:
阿里云平台
实验环境搭建
阿里云项目训练
阿里云认证指导
学习目标
可掌握的核心能力
1.掌握阿里云平台的基本使用
2.掌握企业使用阿里云大数据平台开发所需要的技能
3.可解决的现实问题
4.满足阿里云认证相关技能,可进行企业阿里云大数据平台的搭建开发。
5.市场价值
6.大量阿里云合作企业优先录取,提升你的就业Level
CC服务
学习内容:
技术专题深入学习
面试与工作经验指导
试用期、转正期,跳槽期技术支持
实际工作问题解决方案
职业发展规划
学习目标
结业后持续关怀服务
帮助你在工作中快速拥有丰富的解决问题手段,更方便应对工作中遇到的问题,以及为你未来职业规划进行指导