時間 |
課程模塊 |
課程內容 |
第一部份
【1】 |
|
1.?大數據的產生背景、發展歷(li)程
2.?大數據和云計算(suan)的(de)關系
3.?大數據應用需求(qiu)以及(ji)潛在價值分析
4.?業(ye)界新(xin)的大數據技術發展態勢與應用趨勢
5.?大數據項(xiang)目的技(ji)術選型(xing)與架構設(she)計(ji)
6.?“互聯網(wang)+”時代下的(de)電子商務(wu)、制(zhi)造業(ye)、零售批發業(ye)、電信運營商、互聯網(wang)金融業(ye)、網(wang)上銀行、電子政務(wu)、移(yi)動互聯網(wang)、教育信息(xi)化等(deng)行業(ye)應用實踐與(yu)應用案例(li)剖析 |
業界主流的大數據技術產品與項目解決方案 |
1.?國內外主流的大數(shu)據解(jie)決方案介紹(shao)
2.?當前大數據(ju)解決方(fang)案(an)(an)與傳統數據(ju)庫方(fang)案(an)(an)的剖(pou)析比(bi)較
3.?Apache大數據平臺方案剖析(xi)
4.?CDH大數據(ju)平臺(tai)方案剖析
5.?HDP大(da)數據平臺方案剖析
6.?開源的(de)大數據生(sheng)態系統平臺剖析 |
Hadoop大數據平臺剖析 |
1.?Hadoop的發展歷程以及產(chan)業界的實際(ji)應用介紹
2.?Hadoop大數據平臺架構
3.?基于Hadoop平(ping)臺的(de)(de)PB級大數(shu)據存(cun)儲管理與分析處(chu)理的(de)(de)工作原理與機制
4.?Hadoop的核心組件剖析(xi) |
第一部份
【2】 |
大數據分布式存儲系統原理及其應用實踐 |
1.?分(fen)布式文件系統HDFS的簡介
2.?HDFS系統的主(zhu)從式平(ping)臺(tai)架(jia)構和工(gong)作原理
3.?HDFS核心組(zu)件(jian)技術(shu)講解
4.?基于HDFS的大型存儲(chu)系統(tong)應(ying)用開(kai)發實戰
5.?HDFS集群的安裝、部署(shu)、配置(zhi)與性能優化實踐(jian)
6.?HDFS與Linux NFS3交互技術以(yi)及本地化部署應(ying)用實(shi)踐
7.?分布式鍵值存儲系統的(de)平臺架構、核心技術(shu)以及應(ying)用開發
8.?PB級大數據(ju)存儲項目(mu)的(de)案例(li)分析 |
大數據MapReduce與Yarn并行處理平臺 |
1.?MapReduce并行計算模型(xing)
2.?MapReduce作(zuo)業(ye)執行與調度技術
3.?第二代大數據計算(suan)框架Yarn的工作原理以及DAG并行執行機制
4.?MapReduce應用(yong)開發環境的部(bu)署，以及大數據并行處理應用(yong)程序開發
5.?MapReduce高級編程技巧與性能優化實踐(jian)
6.?MapReduce與Yarn大(da)數據分析(xi)處理案例分析(xi) |
Hadoop應用實踐操作訓練 |
1.?部署與配置HDFS，熟練操(cao)作HDFS SHELL，HDFS與NFS操(cao)作，以及HDFS API開發(fa)實踐
2.?部(bu)署與(yu)配(pei)置MapReduce與(yu)Yarn及其開發(fa)實踐
3.?Hadoop的Linux二次開發環境部署與配置 |
第二部份
【1】 |
HBase分布式數據庫管理系統 |
1.?NoSQL數據庫(ku)與NewSQL數據庫(ku)技術介(jie)紹，及(ji)其(qi)在半(ban)結構化(hua)和(he)非結構化(hua)大數據方面的應(ying)用(yong)實踐
2.?HBase分布式(shi)數據庫簡介、數據模型以及工作原理
3.?HBase分布式數據庫集群的平臺架(jia)構和關鍵技(ji)術剖析
4.?HBase應(ying)用項目開(kai)發技巧，以及客戶端開(kai)發實(shi)戰
5.?HBase表(biao)設計與數(shu)據操作(zuo)以及數(shu)據庫管理API調用
6.?HBase集(ji)群的安裝部(bu)署與(yu)配(pei)置優化
7.?ZooKeeper分(fen)布式協調服務系(xi)統(tong)的工作原理、平臺架構、集群部署與配置應用實戰
8.?HBase集(ji)群的運維與監控管理 |
HBase半結構化數據管理應用實踐操作訓練 |
1.?部署與配置HBase集群以及HBase的性(xing)能優化
2.?部署與配置ZooKeeper分(fen)布式集群
3.?構建(jian)HBase開發環境(jing)
4.?HBase數(shu)據庫操(cao)作及(ji)項(xiang)目實踐 |
第二部份
【2】 |
Hive大型數據倉庫集群平臺及其應用實踐 |
1.?基于(yu)Hadoop的(de)大型(xing)分布式數據倉庫基礎知識，HIVE在行業中的(de)數據倉庫應(ying)用案例
2.?Hive大數據倉庫簡介以及應用介紹
3.?Hive數(shu)據倉庫(ku)集群的平臺(tai)體系結構、核(he)心技術(shu)剖析
4.?Hive Server的工作原理(li)、機制與(yu)應用
5.?Hive數據倉(cang)庫集群的安(an)裝部署與配置優(you)化
6.?Hive應用開(kai)發技巧
7.?Hive SQL剖(pou)析(xi)與應用實踐
8.?Hive數(shu)據倉庫表與表分區、表操作(zuo)、數(shu)據導(dao)入導(dao)出、客戶端操作(zuo)技巧(qiao)
9.?Hive數據倉庫報表設計
10、Hive JDBC與(yu)ODBC的工作原理與(yu)實現機制
11、Hive HWI、CLI客戶(hu)端操作以(yi)及UDF應用實(shi)踐 |
Mahout大數據分析挖掘平臺及其應用實踐 |
1.?Mahout集群的安裝部(bu)署與配置優(you)化(hua)
2.?Mahout實現(xian)客戶分析(xi)，廣告分析(xi)，日志分析(xi)，規律預測，關聯分析(xi)，定向推薦(jian)等(deng)應用程序(xu)的開(kai)發與應用實戰
3.?Mahout性(xing)能(neng)優化與分析挖掘算法(fa)參數(shu)的優化技巧 |
Hive數據倉庫與Mahout數據挖掘平臺的應用實踐操作訓練 |
1.?部署與配置HIVE集群(qun)，以及(ji)HIVE性能調優
2.?構(gou)建HIVE開發環境(jing)
3.?HIVE數據倉庫操作及項目(mu)實踐
4.?實(shi)現Mahout與Hadoop HBase的(de)應(ying)用集(ji)成，實(shi)現日志數(shu)據(ju)分析挖掘項目的(de)應(ying)用實(shi)踐 |
第三部份
【1】 |
Spark大數據實時處理平臺剖析 |
1.?Spark的發展歷程以及業(ye)界的實際應用介紹
2.?Spark實時(shi)大數(shu)據處理平(ping)臺架(jia)構
3.?Spark RDD內存(cun)彈性分布式(shi)數據集(ji)的工作原理與機制
4.?Spark的核心組件剖析
5.?基于Spark的實(shi)時數(shu)據倉庫與(yu)實(shi)時分析挖掘處理在行業中的應用實(shi)踐案(an)例 |
基于Spark的實時數據倉庫和實時數據分析挖掘處理平臺的實現機制，以及SparkSQL，Spark Streaming，MLib，GraphX，SparkR的應用實踐 |
1.?內(nei)存計算(suan)模型和實時(shi)處理技術介紹
2.?Spark中各個分布式(shi)組(zu)件的處理框架及工作原理
3.?Spark SQL實(shi)時數據倉庫的實(shi)現原(yuan)理機制及(ji)應用實(shi)踐
4.?Spark Streaming流式數據實(shi)時(shi)處(chu)理機(ji)制及應用實(shi)踐
5.?Spark MLib實(shi)時機器(qi)學習算法應用實(shi)踐(jian)與案例應用
6.?Spark GraphX實時(shi)圖數(shu)據處(chu)理應(ying)用實踐與(yu)社交網絡(luo)分析應(ying)用案例
7.?SparkR的實(shi)現原理(li)與(yu)應用實(shi)踐
8.?Spark組(zu)件(jian)的(de)應用編程開發(fa)實戰(zhan)
9.?Spark與Hadoop的集成解決方案實踐(jian) |
Spark平臺與各個組件的實踐操作訓練 |
1.?部署(shu)與配置Spark集群，以及Spark性(xing)能調(diao)優
2.?構建Spark開發(fa)環(huan)境
3.?Spark程序運行以及(ji)操(cao)作(zuo)
4.?Spark SQL應用操作實訓
5.?Spark Streaming應用(yong)操作實(shi)訓
6.?Spark MLib應用操作實訓
7.?Spark GraphX應用(yong)操作實(shi)訓(xun)
8.?SparkR應用(yong)操(cao)作(zuo)實訓
9.?Spark與HBase集成數(shu)據分析實驗實訓(xun) |
第三部份
【2】 |
Storm流式數據處理平臺架構及其應用實踐 |
1.?Storm流式處理(li)系統的平臺(tai)架構(gou)和工作原理(li)
2.?Storm關鍵(jian)技術剖析(xi)
3.?Storm集群安裝部署與配(pei)置優化
4.?Storm日志(zhi)流(liu)數據分析項(xiang)目應用實(shi)戰
5.?Storm和Hadoop，Spark的(de)應用(yong)集成項目(mu)實踐 |
大數據智能化ETL操作工具以及Hadoop集群運維監控工具平臺應用 |
1.?Hadoop與DBMS之間數據交互工具的應用
2.?Sqoop導入(ru)導出數據的(de)工(gong)作原理(li)，以(yi)及Sqoop集群(qun)安裝(zhuang)部署與配置
3.?Kettle集(ji)群的平臺架構(gou)、核心(xin)技術(shu)工作(zuo)原理以及應用案(an)例(li)
4.?Kettle大數據(ju)ETL工具的部署與配置，以及應(ying)用實戰
5.?利用Sqoop實現MySQL與(yu)Hadoop集(ji)群之間的(de)數據導入(ru)導出交互程序
6.?Hadoop大數據(ju)運維監控管理系統HUE平(ping)臺的安裝部署與應用配(pei)置
7.?Hadoop運維管理監控系統Ambari平臺的安裝部(bu)署(shu)與應(ying)用配置(zhi)
8.?Hadoop集群運(yun)維系統Ganglia, Nagios的(de)安(an)裝(zhuang)部署與(yu)應用(yong)配(pei)置 |
大數據分布式采集與分布式消息訂閱系統及其應用實踐（可選） |
1.?Flume-NG數據采集系統的(de)數據流模型、平臺架構、集群部署與配置應(ying)用實(shi)戰
2.?Kafka分布式(shi)消息訂(ding)閱(yue)系統(tong)的應用介紹、平臺架構、集群部(bu)署(shu)與配置應用實戰 |
內存數據庫管理系統及其應用實踐（可選） |
1.?Impala實(shi)時查詢系統(tong)平臺架構、核心關(guan)鍵技術剖析(xi)
2.?Impala實時查詢系統的部署與(yu)應(ying)用開發(fa)實踐(jian)
3.?Redis內存數據庫集群架構以及核心技術剖析
4.?Redis集群(qun)的部署與應用開發實戰與案例分析 |
Cassandra數據管理系統應用實踐（可選） |
1.?Cassandra集群的平(ping)臺架(jia)構以及核心(xin)關鍵技術
2.?Cassandra一致性(xing)哈希算法與數據對象分(fen)布策略
3.?Cassandra集(ji)群的(de)安裝部署(shu)與配置優化
4.?Cassandra應用(yong)開發實戰與案例分析 |
大數據項目應用完整實踐與咨詢討論 |
1.?根據講師布置的實際應用案(an)例，開(kai)展(zhan)大(da)數據完整項(xiang)目部署設計和應用開(kai)發實踐
2.?大(da)數(shu)據項目的需求分(fen)析、應用實施以及解決方(fang)案分(fen)享(xiang)咨(zi)詢與交流討論 |
學(xue)習考核與行業經驗(yan)交流 |
合作伙伴與授權機構
