课程名称:大数据管理专家
大数据管理专家
岗位职责
负责大数据集群系统运维,包含系统监控、应急响应、容量规划等,研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向;
设计和指导基于Hadoop的MapReduce、Hive、HBase等应用开发;
1、负责公司核心集群的运维工作,保证其高可用和稳定性。
2、负责集群容量规划、扩容及集群性能优化。
3、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的Hadoop运维技术及发展方向。
4、设计实现分布式集群的运维、监控和管理平台。
岗位阶梯
系统维护工程师、运维工程师、数据库管理员、技术支持
大数据研发工程师、大数据管理工程师、大数据架构师
运维总监、IT经理、大数据研发经理、大数据项目经理
课程介绍
目前Hadoop在很多企业应用越来越广泛,Hadoop人才也很稀缺和抢手,待遇也水涨船高。本系列课讲解目前主流的Hadoop版本Cloudera Hadoop 5(这里采用cdh5.1),该版本相比0.20.x,性能和稳定性上提高很多。CDH5环境搭建相比旧版本也复杂很多,但可以用Cloudera-Manager对集群进行管理和配置。CDH5默认集成了常用的所有组件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,从而形成一功能强大的分布式平台。
课程设置
课程模块主要内容
Java核心课
Java 入门基础、Java 程序设计+高级工具包开发、SCJP/OCJP
Oracle认证Java程序设计工程师
RHCE
RHCE是Red Hat推出的Linux认证,主要考核技术人员对Linux内核系统的管理能力,能够具备安装、配置一个全新的Linux系统,并将其对接企业级网络及数据库的能力。
OCP
OCP认证专家级技能和技术知识考试, 通过这个考试, 说明具备管理大型数据库的能力, 或者能够开发可以部署到整个企业的强大应用,并进行跨平台ORACLE实战部署。
MYSQL
本节主要是认识数据库环境,了解数据库的操作步骤,掌握一些数据库连接的方法、创建和设置数据库等。
CISCO data center
1. 互联网线缆、设备上架、设备系统更新、线缆选用等基础布线方法。
2. 互联网维护时的故障诊断和临时解决方案流程解析。
HADOOP融合微软构建和运营公共云的丰富经验,Windows Server 2012 作为云计算时代的新一代的IT 平台,为企业和托管服务提供商提供了可扩展的、动态的、多租户感知的服务器和云基础结构,实现了安全的跨地域连接,并使得IT 系统和人员能够更快、更有效地响应业务需求。
NO.SQL
NoSQL,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心。