课程名称:大数据开发工程师课程
大数据开发工程师课程简介
对于“大数据”(Big data),研究机构Gartner给出了这样的定义:“大数据”是需要 新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是:一种规大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据时代的出现,未来多年将对计划经济和市场经济进行重新定义。在大数据时代,人类获得数据能力远远超过大家想象,我们对世界的<br>认识要提升到新 的高度。在国内,普通大数据开发工程师的基本岗位薪资起步即10000元/月,一般入职薪资13000元/月 左右,2年以上工作经验的大数据开发工程师薪资高达30000元/月以上。
课程特色:
1.完备且标准的大数据技术教程使你零基础掌握大数据核心技术。
2.大数据*前沿分布式计算技术Spark的精讲。
3.以企业实际项目为案例,掌握大数据数据仓库的全面知识。
课程简介:
第一阶段:大数据基础之Java入门
第1章:Oracle数据库
第二章:java8编程入门
第三章:java8面向对象
第四章:java8高级编程
第五章:深入java虚拟机
第六章:java业务分析设计实例
第二阶段:大数据基础之Linux知识
第*章:虚拟机知识
第二章:Linux shell基础命令
第三阶段:大数据入门(技术和思想上入门)
第1章:大数据介绍
第二章:Zookeeper
第三章:分布式存储HDFS
第四章:分布式计算MapReduce
第五章:分布式资源管理Yarn
第四阶段:大数据高效存储之Hbase
第1章:Hbase应用实战
第二章:Hbase运维相关
第五阶段:Scala语言学习
第1章:认识Scala
第二章:十二步体验Scala
第三章:Scala面向对象编程基础
第四章:Scala函数式编程基础
第五章:模式匹配
第六章:隐式系统
第七章:类型系统
第八章:集合框架
第六阶段:大数据高效计算之Spark
第1章:正确理解Spark
第二章:Spark Core 之 RDD API
第三章:Spark Core之正确提交Spark应用
第四章:Spark Core之Schedulers On Driver
第五章:Spark SQL的前世今生以及未来
第六章:玩转Spark SQL
第七章:Spark Streaming编程模型
第八章:Spark Streaming性能与稳定
第九章:Spark Streaming容错与语义
第十章:Flume Kafka Spark Streaming
第七阶段:大数据数据仓库构建
第1章:Spark SQL with Hive
第二章:Hive
第三章:Impala
第四章:Sqoop
第五章:CDH安装
第六章:Data Warehouse
最终阶段:职业规划,多种类型的大数据岗位,将根据学员所擅长的方向进行选择,并安排就业。
大数据数据分析方向
大数据清洗师
薪资:15K-20K
技能:1、掌握大数据平台中常用数据采集、抽取、整理方法;
2、数据Python、Scala、SQL等语言,能够对数据按照需求进行转换;
大数据分析师
薪资:25K-45K
技能:1、掌握大数据平台数据分析方法,掌握Python、Scala、SQL等语言
2、熟悉常用的机器学习算法,处理各种类型复杂数据,能从数据中提取有价值信息;
大数据科学家
薪资:50K
技能:1、掌握统计、概率、线性代数等数学理论;
2、掌握机器学习算法,熟悉业务和数据,针对数据建立模型;
3、掌握Scala、Python等开发语言,熟悉在大数据平台实现数据挖掘;
4、掌握大数据生态系统架构,熟悉数据的ETL过程,熟悉业务数据;
大数据应用开发方向
大数据开发工程师
薪资:20K-30K
技能:1、掌握Python、Java、Scala等开发语言,能够按照需求开发大数据平台组件应用
高级开发工程师
薪资:25K-45K
技能:1、具备良好的Hadoop生态系统的技术基础,熟悉业务和数据,根据不同业务特性设计架构,对整个公司的数据中心架构进行审视和优化改善;
2、熟悉数据中心安全策略;
组件代码提交者
薪资:45K
技能:1、成为Hadoop生态系统组件代码提交者(Commitor),对组件的发展方向具有影响;
大数据运维管理方向
大数据运维工程师
薪资:15K-20K
技能:1、掌握基本的Linux命令,会配置基础服务;搭建Hadoop集群,日常管理、监控和维护;
高级运维工程师
薪资:18K-25K
技能:1、掌握Shell、Python等开发语言,具备运行脚本语言自动化集群部署、管理和监控能力;
2、高效的维护企业数据中心,有效分隔来自不同数据部门的需求;掌握Hadoop常用组件的安装、优化;
大数据架构师
薪资:20K-30K
技能:1、具备良好的Hadoop生态系统的技术基础,熟悉业务和数据,根据不同业务特性设计架构,对整个公司的数据中心架构进行审视和优化改善;
2、熟悉数据中心安全策略;