2019大數(shù)據(jù)技術之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓（4月上海班）
時間：2019-04-19 09:00 至 2019-04-21 17:00
地點：上海
- 參會報名
- 會議通知
- 會議日程
- 會議嘉賓
- 參會指南
-
手機下單
首頁 > 商務會議 > IT互聯(lián)網(wǎng)會議 > 2019大數(shù)據(jù)技術之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓（4月上海班） 更新時間：2019-03-20T17:29:01
|
2019大數(shù)據(jù)技術之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓（4月上海班） 已截止報名會議時間： 2019-04-19 09:00至 2019-04-21 17:00結束 會議規(guī)模：50人 主辦單位： 大數(shù)據(jù)產(chǎn)業(yè)培訓基地 數(shù)環(huán)云創(chuàng)（北京）科技有限公司 |
收藏3人
換一換
會議通知
會議內(nèi)容 主辦方介紹
2019大數(shù)據(jù)技術之高級篇---Spark、flink、數(shù)據(jù)中臺高級培訓（4月上海班）宣傳圖
各有關單位：
當下是大數(shù)據(jù)時代，為構建大數(shù)據(jù)平臺，技術人員需要對分布式計算平臺有一定深入的理解和應用。MapReduce作為一個經(jīng)典的分布式計算框架，已經(jīng)廣為人知，且得到了廣泛的應用，但MapReduce自身存在很多問題，包括迭代式計算和DAG計算等類型的數(shù)據(jù)挖掘與機器學習算法性能低下，不能很好地利用內(nèi)存資源，編程復雜度較高等。為了克服MapReduce的眾多問題，新型計算框架出現(xiàn)了。Spark已經(jīng)被不少互聯(lián)網(wǎng)公司采用，大部分數(shù)據(jù)挖掘算法和迭代式算法在逐步MapReduce平臺遷移到Spark平臺中，包括阿里巴巴，騰訊，百度，優(yōu)酷土豆，360，支付寶等互聯(lián)網(wǎng)公司已經(jīng)在線上產(chǎn)品中使用spark，且取得了令人滿意的效果，另外，部分省份的運營商也正在嘗試使用spark解決數(shù)據(jù)挖掘和分析問題，部分銀行，如工商銀行，也正在嘗試spark平臺。因此大數(shù)據(jù)產(chǎn)業(yè)培訓基地決定開展“Spark高級工程師”實戰(zhàn)培訓班，本次培訓由數(shù)環(huán)云創(chuàng)（北京）科技有限公司具體承辦，望相關單位收到通知后積極參加。相關培訓事宜如下:
?一、?課程目的
1) 深入理解Spark計算原理和編程模型，掌握Spark?Core和SparkSql、SparkStreaming等上層系統(tǒng)的結合方式
2) 深入掌握SparkCore、SparkSql使用調(diào)優(yōu)技巧
3) 深入掌握SparkStreaming和SparkMllib使用和調(diào)優(yōu)技巧
4) 深入掌握Spark和其他組件的結合使用
5) 了解Spark與MapReduce分布式計算模型的區(qū)別和各自適合的使用場景。
6) 能夠使用java、python和scala進行spark應用開發(fā)（如果要講解三種語言開發(fā)spark，工作量會非常大，建議只講解一種(可以根據(jù)企業(yè)的要求來定，）
7) 熟練使用spark、spark?streaming、spark?SQL、spark?mllib
8) 深入了解spark在大型互聯(lián)網(wǎng)的架構和使用場景?
二、 培訓對象
1)已經(jīng)熟練掌握Sparkapi并希望深入掌握性能調(diào)優(yōu)方法的開發(fā)人員
2)希望使用SparkSql進行高效結構化數(shù)據(jù)處理的開發(fā)人員
3)希望使用SparkStreaming提高數(shù)據(jù)處理實效性的開發(fā)人員
4）技術經(jīng)理、架構師、產(chǎn)品經(jīng)理
三、 培訓時間
2019年04月19日—04月21日? ?周五、周六、周日? （上海）
2019年05月24日—05月26日? ?周五、周六、周日? （廣州）
2019年06月21日—06月23日? ?周五、周六、周日? （成都）
查看更多
數(shù)環(huán)云創(chuàng)（北京）科技有限公司成立于2015年3月，是一家初創(chuàng)的新型互聯(lián)網(wǎng)科技企業(yè)，公司目前致力于IT領域的信息化培訓與項目咨詢、企業(yè)大數(shù)據(jù)實施與技術服務的解決方案提供商。
會議日程
（最終日程以會議現(xiàn)場為準）
日程 | 課程主題 | 主要內(nèi)容(內(nèi)容可以根據(jù)學員的要求現(xiàn)場定制化和調(diào)整) |
第 一 天 | Spark 2.1概述 | ?1、Spark產(chǎn)生背景，包括mapreduce缺陷，多計算框架并存等 2、Spark 基本特點 3、Spark版本演化 4、Spark核心概念，包括RDD, transformation, action, cache等 5、Spark生態(tài)系統(tǒng)，包括Spark生態(tài)系統(tǒng)構成，以及與Hadoop生態(tài)系統(tǒng)關系 6、Spark在互聯(lián)網(wǎng)公司中的地位與應用 7、介紹當前互聯(lián)網(wǎng)公司的Spark應用案例 ?8、Spark集群搭建，包括測試集群搭建和生產(chǎn)環(huán)境中集群搭建方法，并親手演示整個過程 ?9、背景知識補充介紹 |
第 一 天 ? | Spark Core | ?Spark 程序設計與企業(yè)級應用案例 ?1、Spark運行模式介紹 Spark運行組件構成，spark運行模式（local、standalone、mesos/yarn等） ? 2、Spark開發(fā)環(huán)境構建 集成開發(fā)環(huán)境選擇，親手演示spark程序開發(fā)與調(diào)試，spark運行 ? 3、常見transformation與action用法 介紹常見transformation與action使用方法，以及代碼片段剖析 ? 4、常見控制函數(shù)介紹 包括cache、broadcast、accumulator等 ? 5、Spark 應用案例：點擊流日志分析 包括：背景介紹，數(shù)據(jù)導入，數(shù)據(jù)分析，常見Spark transformation和action用法在線演示 |
第 一 天 | Spark? 內(nèi)部原理剖析與源碼閱讀 | ?1、Spark運行模式剖析 ?深入分析spark運行模式，包括local，standalone以及spark on yarn ? ?2、Spark運行流程剖析 ?包括spark邏輯查詢計劃，物理查詢計劃以及分布式執(zhí)行 ? ?3、Spark shuffle剖析 ?深入介紹spark shuffle的實現(xiàn)，主要介紹hash-based和sort-based兩種實現(xiàn) ? ?4、Spark 源碼閱讀 ?Spark源碼構成以及閱讀方法 |
第 二 天 | Spark? 程序調(diào)優(yōu)技巧 | ?1、數(shù)據(jù)存儲格式調(diào)優(yōu) ?數(shù)據(jù)存儲格式選擇，數(shù)據(jù)壓縮算法選擇等 ? ?2、資源調(diào)優(yōu) ?如何設置合理的executor、cpu和內(nèi)存數(shù)目，YARN多租戶調(diào)度器合理設置，啟用YARN的標簽調(diào)度策略等 ? ?3、程序參數(shù)調(diào)優(yōu) ?介紹常見的調(diào)優(yōu)參數(shù)，包括避免不必要的文件分發(fā)，調(diào)整任務并發(fā)度，提高數(shù)據(jù)本地性，JVM參數(shù)調(diào)優(yōu)，序列化等 ? ?4、程序?qū)崿F(xiàn)調(diào)優(yōu) ?如何選擇最合適的transformation與action函數(shù) ? ?5、調(diào)優(yōu)案例分享與演示 ?演示一個調(diào)優(yōu)案例，如何將一個spark程序的性能逐步優(yōu)化20倍以上。 ? |
第 二 天 | Spark sql 2.1 | ? Spark SQL基本原理 ? 1、Spark SQL是什么 ? 2、Spark SQL基本原理 ? 3、Spark? Dataframe與DataSet ? 4、Spark SQL與Spark Core的關系 ? |
第 二 天 | Spark SQL? 程序設計與企業(yè)級應用案例 | ? 1、Spark SQL程序設計 ? a.? 如何訪問MySQL、HDFS等數(shù)據(jù)源，如何處理parquet格式數(shù)據(jù) ? b.? 常用的DSL語法有哪些，如何使用 ? c.? Spark SQL調(diào)優(yōu)技巧 ? d.? 數(shù)據(jù)傾斜解決方案 |
第 三 天 | Spark Streaming? 程序設計及應用案例 | ? 1、Spark? Streaming基本原理 ? a.? Spark Streaming是什么 b.? Spark Streaming基本原理 c.? Structured Streaming ?d.? Spark? Streaming 編程接口介紹 e.? Spark Streaming應用案例 ? ? 2、Spark? Streaming程序設計與企業(yè)級應用案例 ? a.? 常見流式數(shù)據(jù)處理模式 ?b.? Spark Streaming與Kafka 交互 ?c.? Spark Streaming與Redis交互 ?d.? Spark Streaming部署與運行 ?e.? Spark Streaming企業(yè)級案例：用戶行為實時分析系統(tǒng) |
第 三 天 | Spark Mllib Spark MLlib及企業(yè)級案例（用戶畫像案例） | 1.? Spark MLlib簡介 2.? 數(shù)據(jù)表示方式 3.? MLlib中的聚類、分類和推薦算法 4.? 如何使用MLlib的算法 5.? Spark MLLib企業(yè)級案例：用戶畫像之性別預測 |
第 三 天 | Spark綜合案例 信用評分實時分析系統(tǒng) | 1.? 背景介紹 2.? 什么是Lambda architecture 3.? 利用Spark Core+MLlib+構建離線處理 4.? 利用flume+Spark Streaming+Redis構建實時處理線 5.? 整合批處理和實時處理線 |
查看更多
會議嘉賓
（最終出席嘉賓以會議現(xiàn)場為準）
授課專家
周老師：基地金牌講師：騰訊大數(shù)據(jù)資深專家，6年以上大數(shù)據(jù)開發(fā)經(jīng)驗，熟悉hadoop 以及spark 生態(tài)系統(tǒng)，負責大數(shù)據(jù)平臺及機器學習平臺的研發(fā)及運營工作，對自然語言處理、機器學習、用戶畫像建模、個性化推薦等技術有深厚的積累。2011年在移動互聯(lián)網(wǎng)公司做大數(shù)據(jù)開發(fā)，負責hadoop、spark的基礎平臺開發(fā)。2015年加入前3的手機廠商，負責hadoop、spark運維以及相關和個性化推薦的工作。實現(xiàn)spark 和hbase? 從無到有的過程。2016至今在騰訊從事大數(shù)據(jù)開發(fā)工作，負責平臺的大數(shù)據(jù)平臺研發(fā)，主導了內(nèi)部核心畫像系統(tǒng)，以及自助分析平臺。
李老師：一線技術大咖，曾任職華為、騰訊大數(shù)據(jù)高級工程師，現(xiàn)就職于阿里巴巴，從事分布式sql技術研究和開發(fā)，具有6年以上大數(shù)據(jù)平臺組件開發(fā)和調(diào)優(yōu)經(jīng)驗，對Hadoop、Hive、Spark、Presto、Hbase、Kafka等開源系統(tǒng)有深度研究和開發(fā)。2010年畢業(yè)于北京航空航天大學，獲信息系統(tǒng)專業(yè)碩士學位，隨后加入華為，從事nosql技術研究，帶領團隊開發(fā)優(yōu)化Nosql數(shù)據(jù)庫內(nèi)核，并從事行列混合存儲的MPP系統(tǒng)研究和開發(fā)，并對spark內(nèi)核進行優(yōu)化，減少shuffle開銷，隨后主持華為終端數(shù)據(jù)平臺部運營大數(shù)據(jù)平臺建設。2016年加入騰訊數(shù)據(jù)平臺部，從事基于HDFS的實時多維分析引擎開發(fā)。2018年加入阿里巴巴。
查看更多
參會指南
會議門票
普通票：7800元/人，團購票：5800元/人（5張起售）
費用含培訓、教材、專家、場地、證書、學習用品費等；學員須自帶筆記本電腦！培訓期間有大量核心培訓資料拷貝給學員！
查看更多
溫馨提示
酒店與住宿:
為防止極端情況下活動延期或取消，建議“異地客戶”與活動家客服確認參會信息后，再安排出行與住宿。
退款規(guī)則:
活動各項資源需提前采購，購票后不支持退款，可以換人參加。
您可能還會關注
-
DAMS2025中國數(shù)據(jù)智能管理峰會（上海）
2025-09-12 上海
-
2025 全球機器學習技術大會（ML-Summit）·北京
2025-10-16 北京
-
2025（第四屆）中國量子點大會
2025-09-12 杭州
-
2025年全國海洋微生物學學術研討會
2025-09-04 廣州
贊助
