“Spark应用与实战高级工程师” 培训其它上课时间：

各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人效果最佳。

课程收益:

本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoo系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。
通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadoo k集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。

培训颁发证书:

工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。证书查询：www.ncie.gov.cn

课程大纲:

时间模块培训大纲
第一天



Spark生态介绍 Mapreduce、storm和spark模型的比较和使用场景介绍
Spark产生背景
Spark（内存计算框架）
SparkSteaming（流式计算框架） Spark SQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel将被代）
DDB介绍
SparkR介绍

spark安装部署 Spark安装简介
Spark的源码编译
Spark Standalone安装 Spark Standalone HA安装
Spark应用程序部署工具spark-submit


Spark运行架构和解析 Spark的运行架构
基本术语
运行架构
Spark on Standalone运行过程
Spark on YARN 运行过程 Spark运行实例解析
Spark on Standalone实例解析
Spark on YARN实例解析
Spark的scala编程 Scala基本语法
Scala开发环境搭建 Scala开发Spark应用程序
Spark编程模型和解析 Spark的编程模型
Spark编程模型解析 RDD的特点、操作、依赖关系
Spark应用程序的配置
第二天Spark的scala编程 Scala基本语法
Scala开发环境搭建 Scala开发Spark应用程序
Spark Streaming原理和实践 Spark Streaming原理
Spark流式处理架构
DStream的特点
Dstream的操作和RDD的区别
Spark Streaming的优化 Spark Streaming实例
文本实例
网络数据处理
Spark SQL原理和实践 Spark SQL原理
Spark SQL的Catalyst优化器
Spark SQL内核
Spark SQL和Hive Spark SQL的实例和编程
Spark SQL的实例操作demo
Spark SQL的编程
第三天

Spark MLlib数据挖掘 Spark mllib介绍
Kmeans数据介绍
MllibKmeans案例
LR算法介绍
Mllib LR 案例
贝叶斯算法介绍 贝叶斯算法案例
基于mllib的推荐系统实战
—商品推荐
—用户推荐
—混合推荐
—最佳拍档
Spark graphX图分析 graphX核心原理
table operator和graph operator区别
vertices、edges和triplets介绍
构建一个graph ShortestPaths图算法详解
PageRank图算法详解
TriangleCount图算法详解
Pagerank图算法实战
案例实战 基于spark日志分析
个性化推荐系统：带你揭开其神秘面纱
在线投放引擎
揭开淘宝点击推荐系统的神秘面纱
京东商城数据服务架构—实时计算平台

培训师介绍：

刘老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、H、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。