《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》課程詳情
點擊下載課大綱及報名表 各有關單位：
當下是大數據時代，為構建大數據平臺，技術人員需要對分布式計算平臺有一定深入的理解和應用。MapReduce作為一個經典的分布式計算框架，已經廣為人知，且得到了廣泛的應用，但MapReduce自身存在很多問題，包括迭代式計算和DAG計算等類型的數據挖掘與機器學習算法性能低下，不能很好地利用內存資源，編程復雜度較高等。為了克服MapReduce的眾多問題，新型計算框架出現了。Spark已經被不少互聯網公司采用，大部分數據挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯網公司已經在線上產品中使用spark，且取得了令人滿意的效果，另外，部分省份的運營商也正在嘗試使用spark解決數據挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺。因此我們決定開展“Spark大數據處理與案例分析高級工程師”實戰(zhàn)培訓班，望相關單位收到通知后積極參加。相關培訓事宜如下:

培訓特色
本課程將分別從理論基礎知識，系統(tǒng)搭建以及應用案例三方面對spark進行介紹。
采用循序漸進的課程講授方法，首先講解Spark系統(tǒng)基礎知識，概念及架構，之后講解Spark實戰(zhàn)技巧，最后詳盡地介紹Spark經典案例，使培訓者從概念到實戰(zhàn)，均會有收獲和提高。

培訓費用及須知
培訓費6800元。（含培訓費、資料費、考試費、證書費、講義光盤費等）。需要住宿學員請?zhí)崆巴ㄖ�，可統(tǒng)一安排，費用自理。

培訓大綱（3天課程）

模塊一
Spark 2.1概述
1、Spark產生背景，包括mapreduce缺陷，多計算框架并存等
2、Spark 基本特點
3、Spark版本演化
4、Spark核心概念，包括RDD, transformation, action, cache等
5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構成，以及與Hadoop生態(tài)系統(tǒng)關系
6、Spark在互聯網公司中的地位與應用
7、介紹當前互聯網公司的Spark應用案例
8、Spark集群搭建，包括測試集群搭建和生產環(huán)境中集群搭建方法，并親手演示整個過程
9、背景知識補充介紹

模塊二
Spark Core
Spark 程序設計與企業(yè)級應用案例
1、Spark運行模式介紹
Spark運行組件構成，spark運行模式（local、standalone、mesos/yarn等）
2、Spark開發(fā)環(huán)境構建
集成開發(fā)環(huán)境選擇，親手演示spark程序開發(fā)與調試，spark運行
3、常見transformation與action用法
介紹常見transformation與action使用方法，以及代碼片段剖析
4、常見控制函數介紹
包括cache、broadcast、accumulator等
5、Spark 應用案例：點擊流日志分析
包括：背景介紹，數據導入，數據分析，常見Spark transformation和action用法在線演示

模塊三
Spark
內部原理剖析與源碼閱讀
1、Spark運行模式剖析
深入分析spark運行模式，包括local，standalone以及spark on yarn
2、Spark運行流程剖析
包括spark邏輯查詢計劃，物理查詢計劃以及分布式執(zhí)行
3、Spark shuffle剖析
深入介紹spark shuffle的實現，主要介紹hash-based和sort-based兩種實現
4、Spark 源碼閱讀
Spark源碼構成以及閱讀方法

模塊三
Spark
程序調優(yōu)技巧
1、數據存儲格式調優(yōu)數據存儲格式選擇，數據壓縮算法選擇等
2、資源調優(yōu)
如何設置合理的executor、cpu和內存數目，YARN多租戶調度器合理設置，啟用YARN的標簽調度策略等
3、程序參數調優(yōu)
介紹常見的調優(yōu)參數，包括避免不必要的文件分發(fā)，調整任務并發(fā)度，提高數據本地性，JVM參數調優(yōu)，序列化等
4、程序實現調優(yōu)
如何選擇最合適的transformation與action函數
5、調優(yōu)案例分享與演示
演示一個調優(yōu)案例，如何將一個spark程序的性能逐步優(yōu)化20倍以上。

模塊四
Spark sql 2.1
Spark SQL基本原理
1、Spark SQL是什么
2、Spark SQL基本原理
3、Spark Dataframe與DataSet
4、Spark SQL與Spark Core的關系

模塊五
Spark SQL
程序設計與企業(yè)級應用案例
1、Spark SQL程序設計
a. 如何訪問MySQL、HDFS等數據源，如何處理parquet格式數據
b. 常用的DSL語法有哪些，如何使用
c. Spark SQL調優(yōu)技巧
d. 數據傾斜解決方案

模塊六
Spark Streaming程序設計及應用案例
1、Spark Streaming基本原理
a. Spark Streaming是什么
b. Spark Streaming基本原理
c. Structured Streaming
d. Spark Streaming 編程接口介紹
e. Spark Streaming應用案例
2、Spark Streaming程序設計與企業(yè)級應用案例
a. 常見流式數據處理模式
b. Spark Streaming與Kafka 交互
c. Spark Streaming與Redis交互
d. Spark Streaming部署與運行
e. Spark Streaming企業(yè)級案例：用戶行為實時分析系統(tǒng)

模塊七
Spark Mllib
Spark MLlib
企業(yè)級案例
1. Spark MLlib簡介
2. 數據表示方式
3. MLlib中的聚類、分類和推薦算法
4. 如何使用MLlib的算法
5. Spark MLLib企業(yè)級案例：用戶畫像之性別預測

模塊八
Spark綜合案例
信用評分實時分析系統(tǒng)
1. 背景介紹
2. 什么是Lambda architecture
3. 利用Spark Core+MLlib+構建離線處理
4. 利用flume+Spark Streaming+Redis構建實時處理線
5. 整合批處理和實時處理線

模塊八
Spark綜合案例
信用評分實時分析系統(tǒng)
1. 背景介紹
2. 什么是Lambda architecture
3. 利用Spark Core+MLlib+構建離線處理
4. 利用flume+Spark Streaming+Redis構建實時處理線
5. 整合批處理和實時處理線

模塊九
典型項目
案例實戰(zhàn)
 基于spark日志分析
 個性化推薦系統(tǒng)：帶你揭開其神秘面紗
 在線投放引擎
 揭開淘寶點擊推薦系統(tǒng)的神秘面紗
 淘寶數據服務架構—實時計算平臺


《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》培訓受眾
各地企事業(yè)單位大數據產業(yè)相關人員，運營商 IT信息化和運維工程師相關人員，金融業(yè)信息化相關人員，或對大數據spark感興趣的相關人員。

《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》課程目的
1、 深入理解Spark計算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結合方式
2、深入掌握SparkCore、SparkSql使用調優(yōu)技巧
3、深入掌握SparkStreaming和SparkMllib使用和調優(yōu)技巧
4、 深入掌握Spark和其他組件的結合使用
5、 了解Spark與MapReduce分布式計算模型的區(qū)別和各自適合的使用場景。
6、 能夠使用java、python和scala進行spark應用開發(fā)（如果要講解三種語言開發(fā)spark，工作量會非常大，建議只講解一種(可以根據企業(yè)的要求來定，）
7、熟練使用spark、spark streaming、spark SQL、spark mllib
8、深入了解spark在大型互聯網的架構和使用場景

《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》所屬分類
特色課程

《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》所屬專題
excel培訓、營銷數據分析、新媒體營銷培訓、分析銷售數據、

《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》授課培訓師簡介

《關于舉辦 “Spark大數據處理與案例分析高級工程師” 實戰(zhàn)培訓班的通知》報名服務流程

-----------------------------------------------------------------------------------