
大數據開發知識培訓
01.Java基礎
Java基礎語法(fa) 面向對象(xiang)編(bian)程(cheng)(cheng) 常用類和(he)工具類 集合框架體系 異(yi)常處(chu)理機制 文件和(he)IO流 移(yi)動開戶管(guan)理系統 多(duo)線程(cheng)(cheng) 枚舉(ju)和(he)垃圾回收 反射 JDK新特性 通訊(xun)錄系統
Scala多范式編程語言編寫程序; Spark大數據計算框架原理;Spark實時流處理技術;Spark大數據計算框架調優; 要求能夠對不同業務場景下Spark Core、Spark Streaming、Spark SQL的技術選型有足夠認知,能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應功能; Flink實時流處理技術;熟悉項目中應用開發。
02 JavaEE核心
前端(duan)技術 數據(ju)庫 JDBC技術 服務器端(duan)技術 Maven Spring SpringBoot Git
熟悉大數據開發基本流程和技術架構; 熟悉機器學習算法理論基礎; 熟悉Python語言基礎及數據算法庫; 熟悉機器學習應用場景; 熟悉Spark機器學習框架; 熟悉數據分析平臺開發全流程; 熟悉大數據推薦系統的開發全流程
03 Hadoop生態體系
Linux Hadoop ZooKeeper Hive HBase Phoenix Impala Kylin Flume Sqoop&DataX Kafka Oozie&Azkaban Hue 智慧農業數倉分析(xi)平臺
Linux操作系統安裝及基本命令;shell腳本編程; 大數據架構Hadoop原理及編程使用;熟悉大數據框架Hadoop調優 ZooKeeper工作機制,以及動態感知原理及使用; Hive數據倉庫的使用及調優原理; HBase數據庫的開發、使用以及調優; Phoenix基本使用; Impala查詢使用; Kylin大數據的OLAP引擎; Flume數據遷移工具; Sqoop與DataX離線數據遷移工具及數據遷移測試; Kafka消息隊列; Oozie、Azkaban項目流程調度開發工具; Hue開源Hadoop UI系統;掌握Hue與各個大數據組件的搭配使用; 各個大數據組件在項目中的實戰使用;
04 Spark生態體系
Scala、Spark、交(jiao)通領域汽車(che)流量(liang)監控項目、Flink
Scala多范式編程語言編寫程序; Spark大數據計算框架原理;Spark實時流處理技術;Spark大數據計算框架調優; 要求能夠對不同業務場景下Spark Core、Spark Streaming、Spark SQL的技術選型有足夠認知,能夠熟練使用Spark Core、Spark Streaming、Spark SQL完成對應功能; Flink實時流處理技術;熟悉項目中應用開發。
05 項目實戰 機器學習
高鐵智能(neng)檢測系統、電信充值、中國(guo)天氣網、機器學習
熟(shu)(shu)悉(xi)大數(shu)(shu)據(ju)(ju)(ju)開(kai)發基(ji)(ji)本流程和技術架構; 熟(shu)(shu)悉(xi)機(ji)(ji)器(qi)學(xue)習算法(fa)理論基(ji)(ji)礎(chu); 熟(shu)(shu)悉(xi)Python語言基(ji)(ji)礎(chu)及(ji)數(shu)(shu)據(ju)(ju)(ju)算法(fa)庫(ku); 熟(shu)(shu)悉(xi)機(ji)(ji)器(qi)學(xue)習應用(yong)場景(jing); 熟(shu)(shu)悉(xi)Spark機(ji)(ji)器(qi)學(xue)習框架; 熟(shu)(shu)悉(xi)數(shu)(shu)據(ju)(ju)(ju)分析平(ping)臺開(kai)發全流程; 熟(shu)(shu)悉(xi)大數(shu)(shu)據(ju)(ju)(ju)推薦(jian)系統的(de)開(kai)發全流程。