《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》課程詳情
點擊下載課大綱及報名表 各有關單位：
為貫徹落實黨中央國務院“十二五”規(guī)劃指導精神，云計算作為戰(zhàn)略重點項目新興產業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。日前發(fā)改委、工信部、財政部支持的云計算項目正式啟動，云計算平臺和云計算服務模式已成為今后IT服務的主流。云計算服務應用的種類不斷增多，普及程度逐漸深入，使用者正向普通用戶拓展。未來，云計算及其基礎設施將是信息產業(yè)的核心平臺，其所蘊含的技術變革和創(chuàng)新服務模式，將深刻影響全球產業(yè)技術創(chuàng)新的發(fā)展。
目前，互聯(lián)網正從數(shù)據(jù)爆炸進一步發(fā)展到海量數(shù)據(jù)分析和挖掘的時代，而基于Hadoop技術的解決方案為海量數(shù)據(jù)存儲和處理提供了經濟、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成為大數(shù)據(jù)行業(yè)發(fā)展背后的驅動力。由于Hadoop技術已成為當下最火熱的云計算技術之一，各行業(yè)中希望深入了解并掌握這門技術的人也越來越多，我們決定開展“大數(shù)據(jù)處理Hadoop應用與開發(fā)”實戰(zhàn)培訓班，本次培訓由北京天博信通科技有限公司具體承辦，望相關單位收到通知后積極參加。相關培訓事宜如下:


培訓時間和地點
2017年11月15日-11月18日 福州 （15日全天報到）
2017年11月29日-12月02日 北京 （28日全天報到）


培訓特色
注重應用：分析國內實際情況，結合國際、國內成功經驗。Hadoop采用實戰(zhàn)的項目，讓學員在短時間內掌握Hadoop的搭建與配置。并進行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動課堂、免費技術沙龍、提供云計算項目建設咨詢、大數(shù)據(jù)Hadoop平臺的搭建。


頒發(fā)證書
參加相關培訓并通過考試的學員，可以獲得：
工業(yè)和信息化部頒發(fā)的-大數(shù)據(jù)高級工程師職業(yè)技能證書。該證書可作為專業(yè)技術人員職業(yè)能力考核的證明，以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。
注：請學員帶二寸彩照2張（背面注明姓名）、身份證復印件一張


培訓費用及須知
5800 元/人（含教材、培訓費、以及學習用具等費用） 食宿統(tǒng)一安排，費用自理。


培訓內容（5天課程）

模塊一：Hadoop簡介和生態(tài)系統(tǒng)介紹
 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問題
 Hadoop概述
 Hadoop與分布式文件系統(tǒng)
 Hadoop生態(tài)系統(tǒng)
 Hadoop的行業(yè)應用案例分析
 Hadoop在云計算和大數(shù)據(jù)的位置和關系
 Hadoop版本介紹
 Hadoop與Google FS的關系
 Hadoop在國內的使用情況和未來
案例和演示：
Hadoop在推薦領域的使用案例介紹


模塊二：大數(shù)據(jù)應用場景
 離線計算架構、技術和應用場景
 實時查詢架構、技術和應用場景
 流式計算架構、技術和應用場景
 內存計算架構、技術和應用場景
 海量數(shù)據(jù)的ETL


模塊三：Hadoop組件介紹
 Hadoop NameNode 介紹
 Hadoop SecondaryNameNode 介紹
 Hadoop DataNode 介紹
 Hadoop JobTracker 介紹
 Hadoop TaskTracker 介紹


模塊四：Hadoop的HDFS模塊
 HDFS架構介紹
 HDFS原理介紹
 NameNode功能詳解
 DataNode功能詳解
 SecondaryNameNode功能詳解
 HSFD的fsimage和editslog詳解
 HDFS的block詳解
 HDFS的block的備份策略
 Hadoop的機架感知配置
 HDFS的shell命令介紹
 HDFS的thrift server服務介紹
 HDFS的API接口介紹
 HDFS的權限詳解
 Hadoop的客服端接入案例
案例和演示：
Hadoop的shell命令演示
 Hadoop的API接口演示
 Hadoop的客服端接入案例


模塊五：Hadoop生態(tài)組件
 集群管理工具—ambari
 分布式存儲—HDFS
 分布式計算— MapReduce
 noSQL數(shù)據(jù)庫—Hbase
 工作流工具—Oozie
 數(shù)據(jù)的并行采集—Flume
 MapReduce腳本工具—Pig
 與關系型數(shù)據(jù)庫之間的數(shù)據(jù)遷移—Sqoop
 資源管理平臺—Yarn
 數(shù)據(jù)挖掘算法—Mahout
 分布式統(tǒng)一服務—Zookeeper
 Hadoop安全工具—Knox


模塊六：MapReducer入門
 Mapreduce原理
 MapReduce流程
 剖析一個MapReduce程序
 Mapper和Reducer抽象類詳解
 Mapreduce的最小驅動類
 MapReduce自帶的類型
 自定義Writables和WritableComparables
 Mapreduce的輸入InputFormats
 MapReduce的輸出OutputFormats
 Combiner詳解
 Partitioner詳解
 DistributeFileSystem詳解
 Hadoop Tools工具介紹
 Counter計數(shù)器詳解
 自定義Counter計數(shù)器
 基于Hadoop二次開發(fā)實戰(zhàn)
 MapReduce的優(yōu)化
 Map和Reduce的個數(shù)設置
 Hadoop小文件優(yōu)化
 任務調度
 默認的任務調度
 公平任務調度
 能力任務調度
 使用 Hadoop MapReduce Streaming 編程
 MapReduce的單元測試
案例和演示：
 MapReduce實現(xiàn)海量數(shù)據(jù)比較大小案例
 自定義Hadoop類型案例
 自定義Partitioner案例
 實現(xiàn)在內存隨機生成100個數(shù)，分成兩個Map來比較大小
 多文件輸出和自動定義MapReduce的輸出名
 MapReduce實現(xiàn)Join算法案例
 MapReduce實現(xiàn)海量文檔相似度算法
 自定義Counter案例實現(xiàn)
 MapReduce實現(xiàn)Pangrank算法。
 MapReduce單元測試：Map的單元測試測試、reduce單元測試和MapReduce整體的單元測試實戰(zhàn)。
 某公司使用MapReduce分析日志案例（10T數(shù)據(jù)以上）
 配置公平調度器案例實戰(zhàn)


模塊七：Yarn資源控制
 使用Cgroups支持CPU隔離
 指定某個應用的資源使用策略；
 根據(jù)指定策略實現(xiàn) CPU 與內存的固定配額調度
 根據(jù)指定策略實現(xiàn) CPU 與內存百分比的配額調度
 根據(jù)指定策略實現(xiàn)不同計算模型(mapreduce、spark)在各個計算節(jié)點的分布
 根據(jù)指定策略實現(xiàn)不同計算模型個對資源的限定
 根據(jù)指定策略實現(xiàn)不同計算模型在具體哪些節(jié)點上啟動
 基于Yarn的公平調度(Fair Scheduler)和能力調度(Capacity Scheduler)
案例和演示：
 Yarn資源控制實戰(zhàn)


模塊八：Hive
 Hive和Pig基礎
 Hive、Impala和presto的比較
 Hive的作用和原理說明
 Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關系
 Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
 Hive 部署和安裝
 Hive Cli 的基本用法
 Hive的server啟動
 HQL基本語法
 Hive的加載數(shù)據(jù)本地加載和HDFS加載
 Hive的partition詳解
 Hive的存儲方式詳解
 RCFILE、TEXTFILE和SEQUEUEFILE
 Hive的UDF和UDAF
 Hive的transform詳解
 Hive的JDBC連接
案例和演示：
 使用JDBC 連接Hive進行查詢和分析
 使用正則表達式加載數(shù)據(jù)
 編寫UDF函數(shù)
 編寫UDAF自定義函數(shù)
 Partition使用實戰(zhàn)
 Transform使用實戰(zhàn)
 某些大型公司使用hive分析日志案例詳解和實戰(zhàn)。


模塊九：Hbase使用
 Hbase原理
 Hmaster詳解
 RegionServer詳解
 Zookeeper介紹
 Hbase安裝
 Hbase邏輯視圖介紹
 Hbase物理視圖介紹
 Hbase的二級索引介紹
 Hbase 的DDL和DML
 Hbase表的設計案例
 Hbase的import功能介紹
 MapReduce操作Hbase
 Hbase的 thrift Server介紹
 Hbase 的API介紹
 Hbase案例分析
案例和演示：
 Hbase安裝實戰(zhàn)
 MapReduce操作Hbase實戰(zhàn)
 Hbase的API實戰(zhàn)
 Hbase表結構設計實戰(zhàn)


模塊十：Hadoop企業(yè)級別案例解析
 Hadoop 結構化數(shù)據(jù)案例
 Hadoop 非結構化案例
 Hbase 數(shù)據(jù)庫案例
 Hadoop 視頻分析案例
案例和演示：
 利用大數(shù)據(jù)分析改進交通管理
 區(qū)域醫(yī)療大數(shù)據(jù)應用案例
 銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺
 廣東移動省公司請賬單系統(tǒng)
 上海電信網絡優(yōu)化
 某通信運營商全國用戶上網記錄
 浙江臺州市智能交通系統(tǒng)
 移動廣州詳單實時查詢系統(tǒng)
 跨區(qū)域實時視頻監(jiān)控系統(tǒng)


模塊十一：RedHadoop 企業(yè)版本
 運用RedHadoop快速構建服務集群
 運用RedHadoop DW 構建數(shù)據(jù)倉庫
案例和演示：
 基于RedHadoop Hive構建數(shù)據(jù)倉庫平臺
 靈活運用 Hive 加速游戲數(shù)據(jù)倉庫
 基于Pig+OpenCV大規(guī)模圖像人臉識別


模塊十二：Spark介紹
 內存計算—Spark
 實時計算—Spark Streaming
 SQL on Spark— Spark QL & Shark
 基于spark的數(shù)據(jù)挖掘— Mllib
 基于Spark的圖計算—graphx
 Spark on Yarn實戰(zhàn)
案例和演示：
 Spark+Kafka+Spark Streaming+Hbase實時計算實戰(zhàn)


模塊十三：互聯(lián)網大數(shù)據(jù)應用案例
 阿里的ODPS大數(shù)據(jù)平臺架構介紹
 阿里的實時推薦架構
 阿里的交叉營銷系統(tǒng)
 阿里支付寶交易監(jiān)控系統(tǒng)
 支付寶微貸案例分析(互聯(lián)網征信系統(tǒng))
 京東打白條系統(tǒng)分析
 百度預測大數(shù)據(jù)平臺案例分析
 聯(lián)通大數(shù)據(jù)開放平臺變現(xiàn)案例分析





《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》培訓受眾
各地政府云計算物聯(lián)網產業(yè)相關負責人，各企業(yè)CIO、信息中心負責人、技術總監(jiān)，云計算中心負責人，云計算產業(yè)投資團隊，云計算應用開發(fā)商，云計算硬件設備供應商，云服務提供商，高校、科研院所云計算項目負責人。
各企業(yè)大數(shù)據(jù)架構師、技術總監(jiān)、數(shù)據(jù)挖掘負責人、數(shù)據(jù)挖掘開發(fā)工程師

《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》課程目的
1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術特點，從而把握分布式計算框架及未來發(fā)展方向，在大數(shù)據(jù)時代能為企業(yè)的技術選型及架構設計提供決策參考。
2、全面掌握Hadoop的架構原理和使用場景，并通過貫穿課程的項目進行實戰(zhàn)鍛煉，從而熟練使用Hadoop進行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識，可以獨立規(guī)劃及部署生產環(huán)境的Hadoop集群，掌握Hadoop基本運維思路和方法，對Hadoop集群進行管理和優(yōu)化。

《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》所屬分類
特色課程

《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》所屬專題
excel培訓、營銷數(shù)據(jù)分析、新媒體營銷培訓、分析銷售數(shù)據(jù)、

《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》授課培訓師簡介

《關于舉辦“Hadoop大數(shù)據(jù)處理高級工程師” 實戰(zhàn)培訓班的通知》報名服務流程

-----------------------------------------------------------------------------------