当前位置:艾威培训主页 > 云计算与大数据 > Spark培训 > Spark as a Service培训 >
Spark as a Service培训
课程介绍：
课程对象：
1，云计算大数据从业者；2，Hadoop使用者；
3，系统架构师、系统分析师、高级程序员、资深开发人员；
4，牵涉到大数据处理的数据中心运行、规划、设计负责人；
5，政府机关，金融保险、移动和互联网等大数据来源单位的负责人；
6，高校、科研院所涉及到大数据与分布式数据处理的项目负责人；
7，数据仓库管理人员、建模人员，分析和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员；
课程时长：2天
课程方式：
课程大纲：
第1堂课：Spark的架构设计
1.1 Spark生态系统剖析
1.2 Spark的架构设计剖析
1.3 RDD计算流程解析
1.4 Spark的出色容错机制
第2堂课：Spark编程模型
2.1 RDD
2.2 transformation
2.3 action
2.4 lineage
2.5宽依赖与窄依赖
第3堂课：深入Spark内核
3.1 Spark集群
3.2 任务调度
3.3 DAGScheduler
3.4 TaskScheduler
3.5 Task内部揭秘
第4堂课：深入实战RDD
4.1 DAG
4.2 Spark Transformations
4.3 Spark Actions
4.4 RDD的优化问题
第5堂课：Spark SQL
5.1 Parquet支持
5.2 DSL
5.3 SQL on RDD
第6堂课：Spark实时流处理
6.1 DStream
6.2 transformation
6.3 checkpoint
6.4 性能优化
第7堂课：JobServer
7.1 JobServer的架构设计
7.2 JobServer提供的接口
7.3 JobServer最佳实践
第8堂课：JobServer框架解析
8.1 JobServer源码解析
8.2 RddManagerActor源码解析
8.3 JobCache源码解析
8.4 JobResultActor源码解析
8.5 LocalContextSupervisorActor
第9堂课：JobServer框架解析
9.1 LRUCache源码解析
9.2 SparkContextFactory源码解析
9.3 ContextURLClassLoader源码解析
第10堂课：JobServer框架解析
10.1 JobDAO源码解析
10.2 JobFileDAO源码解析
10.3 JobSqlDAO源码解析
10.4 JobSqlDAOJdbcConfig源码解析
1.1 Spark生态系统剖析
1.2 Spark的架构设计剖析
1.3 RDD计算流程解析
1.4 Spark的出色容错机制
第2堂课：Spark编程模型
2.1 RDD
2.2 transformation
2.3 action
2.4 lineage
2.5宽依赖与窄依赖
第3堂课：深入Spark内核
3.1 Spark集群
3.2 任务调度
3.3 DAGScheduler
3.4 TaskScheduler
3.5 Task内部揭秘
第4堂课：深入实战RDD
4.1 DAG
4.2 Spark Transformations
4.3 Spark Actions
4.4 RDD的优化问题
第5堂课：Spark SQL
5.1 Parquet支持
5.2 DSL
5.3 SQL on RDD
第6堂课：Spark实时流处理
6.1 DStream
6.2 transformation
6.3 checkpoint
6.4 性能优化
第7堂课：JobServer
7.1 JobServer的架构设计
7.2 JobServer提供的接口
7.3 JobServer最佳实践
第8堂课：JobServer框架解析
8.1 JobServer源码解析
8.2 RddManagerActor源码解析
8.3 JobCache源码解析
8.4 JobResultActor源码解析
8.5 LocalContextSupervisorActor
第9堂课：JobServer框架解析
9.1 LRUCache源码解析
9.2 SparkContextFactory源码解析
9.3 ContextURLClassLoader源码解析
第10堂课：JobServer框架解析
10.1 JobDAO源码解析
10.2 JobFileDAO源码解析
10.3 JobSqlDAO源码解析
10.4 JobSqlDAOJdbcConfig源码解析
