2019大數(shù)據(jù)技術(shù)之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓(xùn)（6月成都班）
時間：2019-06-21 09:00 至 2019-06-23 17:00
地點(diǎn)：成都
- 參會報名
- 會議通知
- 會議日程
- 會議嘉賓
- 參會指南
-
手機(jī)下單
首頁 > 商務(wù)會議 > IT互聯(lián)網(wǎng)會議 > 2019大數(shù)據(jù)技術(shù)之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓(xùn)（6月成都班） 更新時間：2019-03-20T17:32:49
|
2019大數(shù)據(jù)技術(shù)之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓(xùn)（6月成都班） 已截止報名會議時間： 2019-06-21 09:00至 2019-06-23 17:00結(jié)束 會議地點(diǎn)： 成都 詳細(xì)地址會前通知 周邊酒店預(yù)訂 會議規(guī)模：50人 主辦單位： 大數(shù)據(jù)產(chǎn)業(yè)培訓(xùn)基地 數(shù)環(huán)云創(chuàng)（北京）科技有限公司 |
收藏4人
換一換
會議通知
會議內(nèi)容 主辦方介紹
2019大數(shù)據(jù)技術(shù)之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓(xùn)（6月成都班）宣傳圖
各有關(guān)單位：
當(dāng)下是大數(shù)據(jù)時代，為構(gòu)建大數(shù)據(jù)平臺，技術(shù)人員需要對分布式計算平臺有一定深入的理解和應(yīng)用。MapReduce作為一個經(jīng)典的分布式計算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問題，包括迭代式計算和DAG計算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問題，新型計算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分?jǐn)?shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運(yùn)營商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺。因此大數(shù)據(jù)產(chǎn)業(yè)培訓(xùn)基地決定開展“Spark高級工程師”實戰(zhàn)培訓(xùn)班，本次培訓(xùn)由數(shù)環(huán)云創(chuàng)（北京）科技有限公司具體承辦，望相關(guān)單位收到通知后積極參加。相關(guān)培訓(xùn)事宜如下:
一、 課程目的
1) 深入理解Spark計算原理和編程模型，掌握Spark Core和SparkSql、SparkStreaming等上層系統(tǒng)的結(jié)合方式
2) 深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧
3) 深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧
4) 深入掌握Spark和其他組件的結(jié)合使用
5) 了解Spark與MapReduce分布式計算模型的區(qū)別和各自適合的使用場景。
6) 能夠使用java、python和scala進(jìn)行spark應(yīng)用開發(fā)（如果要講解三種語言開發(fā)spark，工作量會非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來定，）
7) 熟練使用spark、spark streaming、spark SQL、spark mllib
8) 深入了解spark在大型互聯(lián)網(wǎng)的架構(gòu)和使用場景
二、 培訓(xùn)對象
1)已經(jīng)熟練掌握Sparkapi并希望深入掌握性能調(diào)優(yōu)方法的開發(fā)人員
2)希望使用SparkSql進(jìn)行高效結(jié)構(gòu)化數(shù)據(jù)處理的開發(fā)人員
3)希望使用SparkStreaming提高數(shù)據(jù)處理實效性的開發(fā)人員
4）技術(shù)經(jīng)理、架構(gòu)師、產(chǎn)品經(jīng)理
三、 培訓(xùn)時間
2019年04月19日—04月21日 周五、周六、周日 （上海）
2019年05月24日—05月26日 周五、周六、周日 （廣州）
2019年06月21日—06月23日 周五、周六、周日 （成都）
查看更多
數(shù)環(huán)云創(chuàng)（北京）科技有限公司成立于2015年3月，是一家初創(chuàng)的新型互聯(lián)網(wǎng)科技企業(yè)，公司目前致力于IT領(lǐng)域的信息化培訓(xùn)與項目咨詢、企業(yè)大數(shù)據(jù)實施與技術(shù)服務(wù)的解決方案提供商。
會議日程
（最終日程以會議現(xiàn)場為準(zhǔn)）
|
日程 |
課程主題 |
主要內(nèi)容(內(nèi)容可以根據(jù)學(xué)員的要求現(xiàn)場定制化和調(diào)整) |
|
第 一 天 |
Spark 2.1概述 |
1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計算框架并存等 2、Spark 基本特點(diǎn) 3、Spark版本演化 4、Spark核心概念，包括RDD, transformation, action, cache等 5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構(gòu)成，以及與Hadoop生態(tài)系統(tǒng)關(guān)系 6、Spark在互聯(lián)網(wǎng)公司中的地位與應(yīng)用 7、介紹當(dāng)前互聯(lián)網(wǎng)公司的Spark應(yīng)用案例 8、Spark集群搭建，包括測試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個過程 9、背景知識補(bǔ)充介紹 |
|
第 一 天
|
Spark Core |
Spark 程序設(shè)計與企業(yè)級應(yīng)用案例 1、Spark運(yùn)行模式介紹 Spark運(yùn)行組件構(gòu)成，spark運(yùn)行模式（local、standalone、mesos/yarn等）
2、Spark開發(fā)環(huán)境構(gòu)建 集成開發(fā)環(huán)境選擇，親手演示spark程序開發(fā)與調(diào)試，spark運(yùn)行
3、常見transformation與action用法 介紹常見transformation與action使用方法，以及代碼片段剖析
4、常見控制函數(shù)介紹 包括cache、broadcast、accumulator等
5、Spark 應(yīng)用案例：點(diǎn)擊流日志分析 包括：背景介紹，數(shù)據(jù)導(dǎo)入，數(shù)據(jù)分析，常見Spark transformation和action用法在線演示
|
|
第 一 天 |
Spark 內(nèi)部原理剖析與源碼閱讀 |
1、Spark運(yùn)行模式剖析 深入分析spark運(yùn)行模式，包括local，standalone以及spark on yarn
2、Spark運(yùn)行流程剖析 包括spark邏輯查詢計劃，物理查詢計劃以及分布式執(zhí)行
3、Spark shuffle剖析 深入介紹spark shuffle的實現(xiàn)，主要介紹hash-based和sort-based兩種實現(xiàn)
4、Spark 源碼閱讀 Spark源碼構(gòu)成以及閱讀方法 |
|
第 二 天 |
Spark 程序調(diào)優(yōu)技巧 |
1、數(shù)據(jù)存儲格式調(diào)優(yōu) 數(shù)據(jù)存儲格式選擇，數(shù)據(jù)壓縮算法選擇等
2、資源調(diào)優(yōu) 如何設(shè)置合理的executor、cpu和內(nèi)存數(shù)目，YARN多租戶調(diào)度器合理設(shè)置，啟用YARN的標(biāo)簽調(diào)度策略等
3、程序參數(shù)調(diào)優(yōu) 介紹常見的調(diào)優(yōu)參數(shù)，包括避免不必要的文件分發(fā)，調(diào)整任務(wù)并發(fā)度，提高數(shù)據(jù)本地性，JVM參數(shù)調(diào)優(yōu)，序列化等
4、程序?qū)崿F(xiàn)調(diào)優(yōu) 如何選擇最合適的transformation與action函數(shù)
5、調(diào)優(yōu)案例分享與演示 演示一個調(diào)優(yōu)案例，如何將一個spark程序的性能逐步優(yōu)化20倍以上。
|
|
第 二 天 |
Spark sql 2.1 |
Spark SQL基本原理 1、Spark SQL是什么 2、Spark SQL基本原理 3、Spark Dataframe與DataSet 4、Spark SQL與Spark Core的關(guān)系
|
|
第 二 天 |
Spark SQL 程序設(shè)計與企業(yè)級應(yīng)用案例 |
1、Spark SQL程序設(shè)計 a. 如何訪問MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù) b. 常用的DSL語法有哪些，如何使用 c. Spark SQL調(diào)優(yōu)技巧 d. 數(shù)據(jù)傾斜解決方案 |
|
第 三 天 |
Spark Streaming 程序設(shè)計及應(yīng)用案例 |
1、Spark Streaming基本原理 a. Spark Streaming是什么 b. Spark Streaming基本原理 c. Structured Streaming d. Spark Streaming 編程接口介紹 e. Spark Streaming應(yīng)用案例
2、Spark Streaming程序設(shè)計與企業(yè)級應(yīng)用案例 a. 常見流式數(shù)據(jù)處理模式 b. Spark Streaming與Kafka 交互 c. Spark Streaming與Redis交互 d. Spark Streaming部署與運(yùn)行 e. Spark Streaming企業(yè)級案例：用戶行為實時分析系統(tǒng) |
|
第 三 天 |
Spark Mllib Spark MLlib及企業(yè)級案例（用戶畫像案例） |
1. Spark MLlib簡介 2. 數(shù)據(jù)表示方式 3. MLlib中的聚類、分類和推薦算法 4. 如何使用MLlib的算法 5. Spark MLLib企業(yè)級案例：用戶畫像之性別預(yù)測 |
|
第 三 天 |
Spark綜合案例 信用評分實時分析系統(tǒng) |
1. 背景介紹 2. 什么是Lambda architecture 3. 利用Spark Core+MLlib+構(gòu)建離線處理 4. 利用flume+Spark Streaming+Redis構(gòu)建實時處理線 5. 整合批處理和實時處理線 |
查看更多
會議嘉賓
（最終出席嘉賓以會議現(xiàn)場為準(zhǔn)）
授課專家
周老師：基地金牌講師：騰訊大數(shù)據(jù)資深專家，6年以上大數(shù)據(jù)開發(fā)經(jīng)驗，熟悉hadoop 以及spark 生態(tài)系統(tǒng)，負(fù)責(zé)大數(shù)據(jù)平臺及機(jī)器學(xué)習(xí)平臺的研發(fā)及運(yùn)營工作，對自然語言處理、機(jī)器學(xué)習(xí)、用戶畫像建模、個性化推薦等技術(shù)有深厚的積累。2011年在移動互聯(lián)網(wǎng)公司做大數(shù)據(jù)開發(fā)，負(fù)責(zé)hadoop、spark的基礎(chǔ)平臺開發(fā)。2015年加入前3的手機(jī)廠商，負(fù)責(zé)hadoop、spark運(yùn)維以及相關(guān)和個性化推薦的工作。實現(xiàn)spark 和hbase 從無到有的過程。2016至今在騰訊從事大數(shù)據(jù)開發(fā)工作，負(fù)責(zé)平臺的大數(shù)據(jù)平臺研發(fā)，主導(dǎo)了內(nèi)部核心畫像系統(tǒng)，以及自助分析平臺。
李老師：一線技術(shù)大咖，曾任職華為、騰訊大數(shù)據(jù)高級工程師，現(xiàn)就職于阿里巴巴，從事分布式sql技術(shù)研究和開發(fā)，具有6年以上大數(shù)據(jù)平臺組件開發(fā)和調(diào)優(yōu)經(jīng)驗，對Hadoop、Hive、Spark、Presto、Hbase、Kafka等開源系統(tǒng)有深度研究和開發(fā)。2010年畢業(yè)于北京航空航天大學(xué)，獲信息系統(tǒng)專業(yè)碩士學(xué)位，隨后加入華為，從事nosql技術(shù)研究，帶領(lǐng)團(tuán)隊開發(fā)優(yōu)化Nosql數(shù)據(jù)庫內(nèi)核，并從事行列混合存儲的MPP系統(tǒng)研究和開發(fā)，并對spark內(nèi)核進(jìn)行優(yōu)化，減少shuffle開銷，隨后主持華為終端數(shù)據(jù)平臺部運(yùn)營大數(shù)據(jù)平臺建設(shè)。2016年加入騰訊數(shù)據(jù)平臺部，從事基于HDFS的實時多維分析引擎開發(fā)。2018年加入阿里巴巴。
查看更多
參會指南
會議門票
普通票：7800元/人，團(tuán)購票：5800元/人（5張起售）
費(fèi)用含培訓(xùn)、教材、專家、場地、證書、學(xué)習(xí)用品費(fèi)等；學(xué)員須自帶筆記本電腦！培訓(xùn)期間有大量核心培訓(xùn)資料拷貝給學(xué)員！
查看更多
溫馨提示
酒店與住宿:
為防止極端情況下活動延期或取消，建議“異地客戶”與活動家客服確認(rèn)參會信息后，再安排出行與住宿。
退款規(guī)則:
活動各項資源需提前采購，購票后不支持退款，可以換人參加。
您可能還會關(guān)注
-
DAMS2025中國數(shù)據(jù)智能管理峰會（上海）
2025-09-12 上海
-
2025 全球機(jī)器學(xué)習(xí)技術(shù)大會（ML-Summit）·北京
2025-10-16 北京
-
2025中國互聯(lián)網(wǎng)大會
2025-07-23 北京
-
2025年全國海洋微生物學(xué)學(xué)術(shù)研討會
2025-09-04 廣州
贊助
