关于举办“大数据实时处理-基于Spark的大数据实时处理及应用技术”培训的通知各有关单位：中国科学院计算技术研究所是国家专门的计算技术研究机构，同时也是中国信息化建设的重要支撑单位，中科院计算所培训中心是致力于高端IT类人才培养及企业内训的专业培训机构。中心凭借科学院的强大师资力量，在总结多年大型软件开发和组织经验的基础上，自主研发出一整套课程体系，其目的是希望能够切实帮助中国软件企业培养高级软件技术人才，提升整体研发能力，迄今为止已先后为国家培养了数万名计算机专业人员，并先后为数千家大型国内外企业进行过专门的定制培训服务。随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，的是Hadoop/Yarn平台，但目前对大数据的实时分析工具，业界公认*佳为Spark。Spark是基于内存计算的大数据并行计算框架，Spark目前是Apache软件基金会旗下，顶级的开源项目，Spark提出的DAG作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层，可融入Hadoop的生态系统，以弥补缺失MapReduce的不足，事实上已成为当前互联网企业主流的大数据实时处理工具。为解决广大系统设计人员深入研究与开发大数据实时处理的需要，培训中心特举办“大数据实时处理-基于Spark的大数据实时处理及应用技术”培训班，具体事宜通知如下：一、培训对象1，系统架构师、系统分析师、高级程序员、资深开发人员。2，牵涉到大数据处理的数据中心运行、规划、设计负责人。3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。二、学员基础1，对IT系统设计有一定的理论与实践经验。2，数据仓库与数据挖掘处理有一定的基础知识。3，对Hadoop/Yarn/Spark大数据技术有一定的了解。三、师资由业界知名云计算专家亲自授课：杨老师 主要研究网络信息分析以及云计算相关技术，长期从事数据仓库、数据挖掘以及大数据分析技术研究，主持和参与了多个国家和省部级基金项目，具有丰富的工程实践及软件研发经验。四、培训要点互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据实时分析的决策模型和技术支持。大数据通常具有：数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架，证明了在处理海量网页数据时该框架的优越性。在此基础上，Apache Hadoop开源项目开发团队，克隆并推出了Hadoop/Yarn系统。该系统已受到学术界和工业界的广泛认可和采纳，并孵化出众多子项目(如Hive，Zookeeper和Mahout等)，日益形成一个易部署、易开发、功能齐全、性能优良的系统。近年来以Berkley牵头设计的Spark/BDAS技术，实现了内存级别的分布式处理模式，使用户无需关注复杂的内部工作机制，无需具备丰富的分布式系统知识及开发经验，即可实现大规模分布式系统的部署与大数据的并行处理。Spark生态系统(BDAS项目)已经发展成一个，包含多个子项目的集合，包括Spark SQL、Spark Streaming、GraphX、MLlib等，本课程从大数据实时处理技术以及Spark实战的角度，结合理论和实践，全方位地介绍Spark大数据实时处理工具的原理和内核,包括Spark大数据计算框架、运行架构、设计模型和数据管理策略，及Spark在业界的应用。课程中结合实例，介绍图工具GraphX如何发现社交网络中的人际关系，大数据挖掘工具MLlib如何进行商品聚类和电影推荐，以及Streaming流挖掘工具,并探讨了Spark与Docker等云环境下新技术的结合，分析了其应用前景。本课程教学过程中还提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题，并介绍了Spark生产环境搭建的相关知识。本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论Spark解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动Spark实时大数据处理开发上升到一个新水平。五、培训内容第一讲Spark大数据实时处理技术1）大数据处理技术2）Spark实时处理技术3）Spark生态系统BDAS4）Spark架构分析第二讲 Spark安装配置及监控1）Ubuntu环境的准备2）Hadoop2.X和Scala3）搭建Spark开发环境4）Idea编译和运行5）Spark监控管理第三讲 Scala编程语言使用概述1) Scala编程语言2) 基本数据类型3) 操作基本数据类型4) 类和对象5) 组合和继承第四讲 Spark分布式计算框架1）Spark计算模型2）弹性分布式数据集RDD3）Spark的数据存储4）Transformation算子分类及功能5）Actions算子分类及功能第五讲 Spark内部工作机制详解1) Spark底层实现原理2) Spark应用执行机制3) Spark调度与任务分配模块4) FIFO和FAIR调度算法第六讲 Spark数据读取与存储1）Spark的I/O机制2）Spark中的数据压缩3）Spark的数据读取与存储4）Spark数据读写流程第七讲 Spark通信模块和容错机制1）Spark通信模块2）通信框架AKKA3）容错机制和Lineage依赖4）检查点机制进行容错5）Shuffle过程第八讲SQL On Spark1) BDAS数据分析软件栈2) SQL On Spark3) Spark SQL工具使用4) Shark工具使用5) Hive on Spark工具6) Spark操作HBase中的数据第九讲 Spark流数据处理工具Streaming1）流数据处理工具Streaming2） Spark Streaming架构3） Spark Streaming原理4） Spark Streaming实例第十讲Spark中的大数据挖掘工具MLlib1）大数据挖掘工具MLlib2）MLlib的数据存储3）MLlib中的聚类和分类4）MLlib算法应用实例5）利用MLlib进行推荐第十一讲 Spark大规模图处理工具GraphX1）大规模图处理工具GraphX2）GraphX的运行架构3）GraphX操作使用4）GraphX使用实例第十二讲 Spark与其他大数据技术的融合与应用1）与Hadoop/Yarn集群应用的协作2）与Docker等其它云工具配合3）Spark在Yahoo!的应用4）Spark在电商中的应用六、培训目标1，全面了解大数据实时处理技术的相关知识。2，学习Spark的核心技术方法以及应用特征。3，深入使用Spark在大数据实时处理中的使用。4，掌握BDAS相关工具及其主要功能。七、培训时间、地点时间： 2018年5月9日-5月11日 地点：北京八、证 书培训结束，颁发中科院计算所职业培训中心“大数据实时处理-基于Spark的大数据实时处理及应用技术”结业证书。九、费 用培训费：5800元/人（含教材、证书、午餐、学习用具等）。住宿协助安排，费用自理。