深圳腾科IT教育

全套服务（在线、面授均享）

1、面授+远程+录播

2、24小时远程真机练习

3、行业专家讲师亲临授课

4、每班一名班主任督学

5、一年半免费重听学习

ClouderaApacheHadoop培训及认证帮助您进阶大数据知识及技能。

Cloudera大学为期4天的Hadoop管理员培训将帮助学员综合理解并全面掌握通过ClouderaManager对Hadoop集群的运维管理，包括：安装，配置、负载平衡及性能调优等。通过该培训，Hadoop系统管理员将能准备好应对实际运维中遇到的挑战。

一．培训内容

● 通过讲师在课堂上的讲解，以及实操练习，学员将学习以下内容：

● ClouderaManager管理集群的特性，诸如日志汇总、配置管理、资源管理、报告、报警及服务管理等。

● YARN、MapReduce、Spark及HDFS的工作原理。

● 如何为你的集群选取合适的硬件和架构。

● 如何将Hadoop集群和企业已有的系统进行无缝集成。

● 如何使用Flume进行实时数据采集以及如何使用Sqoop在RDBMS和Hadoop集群之间进行数据导入导出。

● 如何配置公平调度器为Hadoop上的多用户提供服务级别保障。

● 产品环境中Hadoop集群的运维实践。

● Hadoop集群排错、诊断问题和性能调优。

二．培训对象及学员基础

面向系统管理员和IT经理，需具备Linux经验，无需ApacheHadoop基础。

三．认证

结束本课程培训后，我们建议学员准备并注册参加CCAHadoop管理员考试。通过并获取该证书是向公司及客户证明个人在Hadoop领域的技术和专长的有力依据。

四．课程大纲

1. ApacheHadoop介绍

● Hadoop的创建动机

● 基本概念

● Hadoop核心部件

2. Hadoop集群安装

● 集群管理方案

● ClouderaManager特性

● Clouderamanager安装

● Hadoop(CDH)安装

3. Hadoop分布式文件系统(HDFS)

● HDFS特性

● 读写文件

● NameNode内存考虑

● HDFS安全简介

● HDFSWebUI

● 使用HDFSShell

4. YARN上的MapReduce和Spark

● 计算平台在Hadoop里扮演的角色

● YARN：集群资源管理器

● MapReduce概念

● ApacheSpark概念

● Yarn上的计算平台

● 通过WebUI及Shell观察YARN应用

● YARN应用运行日志

5. Hadoop配置及服务运行日志

● ClouderaManager配置管理机制

● 定位配置参数及进行配置变更

● 管理角色实例及添加服务

● 配置HDFS服务

● 配置Hadoop服务运行日志

● 配置YARN服务

6. HDFS数据导入

● 使用Flume从外部数据源实时

● 导入数据

● 使用Sqoop从关系数据库导入数据

● REST接口

● 导入数据的实践

7. Hadoop集群规划

● 规划考虑因素

● 硬件选择

● 虚拟化选项＊

● 网络因素

● 节点配置

8. Hive，Impala及Pig安装及配置

● Hive

● Impala

● Pig

9. Hadoop客户端及Hue

● 什么是Hadoop客户端

● 安装及配置Hadoop客户端

● 安装及配置Hue

● 使用Hue进行身份验证及授权

10. 集群高级配置

● 高级配置参数

● Hadoop端口配置

● HDFS机柜感知配置

● HDFS高可靠性配置

11. Hadoop安全

●Hadoop安全的重要性

● Hadoop安全性概念

● Kerberos简介

● 使用Kerberos保护Hadoop集群

● 其他安全概念

12. 资源管理

● 使用静态服务池配置Linuxcgroup

● 公平调度器

● 配置动态资源池

● YARN内存及CPU设置

● Impala查询调度

13. 集群维护

● 检查HDFS状态

● 集群间复制数据

● 添加/移除集群节点

● 集群数据负载平衡

● 目录快照

● 集群升级

14. 集群监控及排错

● ClouderaManager监控特性

● 监控Hadoop集群

● Hadoop集群排错

● 常见配置不当问题

15. 结论

Cloudera大数据课程体系