課程大綱

Apache Hadoop介紹
·Hadoop動機
·基本概念
·Hadoop核心部件

Hadoop機群安裝
·機群管理方案
·Cloudera Manager特性
·Cloudera manager安裝
·Hadoop(CDH)安裝

Hadoop分布式文件系統(tǒng)（HDFS)
·HDFS特性
·讀寫文件
·NameNode內(nèi)存考慮
·HDFS安全簡介
·HDFS WebUI
·使用HDFS Shell

YARN上的MapReduce和Spark
·計算平臺在Hadoop里扮演的角色
·YARN：機群資源管理器
·MapReduce概念
·Apache Spark概念
·Yarn上的計算平臺
·YARN WebUI及Shell
·YARN應(yīng)用運行日志

Hadoop 配置及服務(wù)運行日志
·Cloudera Manager 配置管理機制
·定位配置參數(shù)及進行配置變更
·管理角色實例及添加服務(wù)
·配置HDFS服務(wù)
·配置Hadoop服務(wù)運行日志
·配置YARN服務(wù)

向HDFS導入數(shù)據(jù)
·使用ume從外部數(shù)據(jù)源實時導入數(shù)據(jù)
·使用Sqoop從關(guān)系數(shù)據(jù)庫導入數(shù)據(jù)
·REST接口
·導入數(shù)據(jù)的最佳實踐

Hadoop機群規(guī)劃
·規(guī)劃考慮因素
·硬件選擇
·虛擬化選項
·網(wǎng)絡(luò)因素
·節(jié)點配置

Hive，Impala及Pig的安裝及配置
·Hive
·Impala
·Pig

Hadoop 客戶端及Hue
·什么是Hadoop客戶端
·安裝及配置Hadoop 客戶端
·安裝及配置 Hue
·使用Hue進行身份驗證及授權(quán)

機群高級配置
·高級配置參數(shù)
·Hadoop端口配置
·HDFS機柜感知配置
·HDFS高可靠性配置

Hadoop安全
·Hadoop安全的重要性
·Hadoop安全性概念
·Kerberos簡介
·使用Kerberos 保護Hadoop機群
·其他安全特性

資源管理
·使用靜態(tài)服務(wù)池配置Linux qgroup
·公平調(diào)度器
·配置動態(tài)資源池
·YARN內(nèi)存及CPU設(shè)置
·Impala查詢調(diào)度

機群維護
·檢查HDFS狀態(tài)
·機群間復制數(shù)據(jù)
·添加/移除機群節(jié)點
·機群數(shù)據(jù)負載平衡
·目錄快照
·機群升級

機群監(jiān)控及排錯
·Cloudera Manager監(jiān)控特性
·監(jiān)控Hadoop機群
·Hadoop機群排錯
·常見配置不當問題

總結(jié)