劉剛培訓(xùn)公開課：Hadoop與Spark大數(shù)據(jù)架構(gòu)專題（2017年2月 上海站）
時(shí)間：2017-02-25 08:00 至 2017-02-26 18:00
地點(diǎn)：上海
- 參會(huì)報(bào)名
- 課程介紹
- 課程大綱
- 講師介紹
- 課程費(fèi)用
-
手機(jī)下單
首頁 > 商務(wù)會(huì)議 > IT互聯(lián)網(wǎng)會(huì)議 > 劉剛培訓(xùn)公開課：Hadoop與Spark大數(shù)據(jù)架構(gòu)專題（2017年2月 上海站） 更新時(shí)間：2017-06-24T15:45:40
|
劉剛培訓(xùn)公開課：Hadoop與Spark大數(shù)據(jù)架構(gòu)專題（2017年2月 上海站） 已截止報(bào)名會(huì)議時(shí)間： 2017-02-25 08:00至 2017-02-26 18:00結(jié)束 會(huì)議地點(diǎn)： 上海 詳細(xì)地址會(huì)前通知 周邊酒店預(yù)訂 主辦單位： 麥思博軟件技術(shù)有限公司 |
收藏3人
換一換
課程介紹
課程信息 主辦方介紹
劉剛培訓(xùn)公開課：Hadoop與Spark大數(shù)據(jù)架構(gòu)專題（2017年2月 上海站）宣傳圖
培訓(xùn)特色
當(dāng)下是大數(shù)據(jù)時(shí)代，為構(gòu)建大數(shù)據(jù)平臺(tái)，技術(shù)人員需要對(duì)分布式計(jì)算平臺(tái)有一定深入的理解和應(yīng)用。MapReduce作為一個(gè)經(jīng)典的分布式計(jì)算框架，已經(jīng)廣為人知，且得到了廣泛的應(yīng)用，但MapReduce自身存在很多問題，包括迭代式計(jì)算和DAG計(jì)算等類型的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法性能低下，不能很好地利用內(nèi)存資源，編程復(fù)雜度較高等。為了克服MapReduce的眾多問題，新型計(jì)算框架出現(xiàn)了。
目標(biāo)收益
本課程將為大家全面而又深入的介紹Spark、Hadoop平臺(tái)的構(gòu)建流程，涉及Spark、Hadoo系統(tǒng)基礎(chǔ)知識(shí)，概念及架構(gòu)， Spark、Hadoo實(shí)戰(zhàn)技巧，Spark、Hadoo經(jīng)典案例等。
通過本課程實(shí)踐，幫助學(xué)員對(duì)Spark、Hadoo生態(tài)系統(tǒng)有一個(gè)清晰明了的認(rèn)識(shí)；理解Spark、Hadoo系統(tǒng)適用的場(chǎng)景；掌握Spark、Hadoo等初中級(jí)應(yīng)用開發(fā)技能；搭建穩(wěn)定可靠的Spar、Hadoo k集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)；了解和清楚大數(shù)據(jù)應(yīng)用的幾個(gè)行業(yè)中的經(jīng)典案例，包括阿里巴巴，華為等。
培訓(xùn)對(duì)象
各類 IT/軟件企業(yè)和研發(fā)機(jī)構(gòu)的軟件架構(gòu)師、軟件設(shè)計(jì)師、程序員。對(duì)于懷有設(shè)計(jì)疑問和問題，需要梳理解答的團(tuán)隊(duì)和個(gè)人，效果最佳。
學(xué)員基礎(chǔ)
了解Linux系統(tǒng)及相關(guān)語言環(huán)境
課程時(shí)長(zhǎng)
2天
查看更多
麥思博軟件技術(shù)有限公司
麥思博(msup)有限公司發(fā)源美國(guó)西雅圖，2007年創(chuàng)辦，是一家面向技術(shù)型組織的培訓(xùn)咨詢機(jī)構(gòu)，服務(wù)于技術(shù)團(tuán)隊(duì)的技能提升、軟件工程的實(shí)際應(yīng)用和產(chǎn)品品質(zhì)的創(chuàng)新與超越。強(qiáng)調(diào)人員、技術(shù)、流程和管理的有機(jī)結(jié)合，注重角色崗位的技能提升與職業(yè)發(fā)展，以及技術(shù)團(tuán)隊(duì)復(fù)合管理與協(xié)作。每年超過1000家企業(yè)續(xù)單參與msup旗下公開課、工作坊、案例研究、國(guó)際游學(xué)等培訓(xùn)項(xiàng)目。
課程大綱
|
主題 |
內(nèi)容 |
|
第一天 上午 |
? Mapreduce、storm和spark模型的比較和使用場(chǎng)景介紹 |
|
Spark安裝部署 |
? Spark安裝簡(jiǎn)介 |
|
Spark運(yùn)行架構(gòu)和解析 |
? Spark的運(yùn)行架構(gòu) |
|
第一天 下午 |
? python開發(fā)環(huán)境搭建 |
|
文件讀寫操作 |
? Spark支持哪些文件的讀寫 |
|
第二天 上午 |
? partition優(yōu)化詳解 |
|
|
? Spark Streaming原理 |
|
第二天下午 |
? Spark SQL原理 |
|
案例實(shí)戰(zhàn) |
? 基于spark日志分析 |
查看更多
講師介紹
Spark大數(shù)據(jù)架構(gòu)專題（2017年2月 上海站）" src="http://pic.huodongjia.com/event/2017-06-24/1498290210.2.jpg"/>
Teradata
云平臺(tái)系統(tǒng)架構(gòu)師
畢業(yè)于大連理工大學(xué)，本科，有多年大數(shù)據(jù)分析類大型項(xiàng)目的架構(gòu)實(shí)施經(jīng)驗(yàn)，目前任職TD,先后服務(wù)于北京大學(xué)軟件研究所、高德軟件、阿里巴巴和Teradata，實(shí)施過基于Hadoop平臺(tái)PageRank算法的實(shí)現(xiàn)、高德大數(shù)據(jù)中心的建設(shè)(300+的Hadoop集群開發(fā)、優(yōu)化、運(yùn)維和提供服務(wù))、阿里巴巴OPDS大數(shù)據(jù)平臺(tái)維護(hù)、內(nèi)蒙移動(dòng)大數(shù)據(jù)平臺(tái)試點(diǎn)(Hadoop)、臺(tái)灣遠(yuǎn)傳Hadoop平臺(tái)開發(fā)和優(yōu)化、蘭州銀行大數(shù)據(jù)平臺(tái)的架構(gòu)和開發(fā)(Hadoop)、招商銀行的大數(shù)據(jù)咨詢規(guī)劃和設(shè)施。在大數(shù)據(jù)架構(gòu)、數(shù)據(jù)集成、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、實(shí)時(shí)推薦和營(yíng)銷方面有豐富經(jīng)驗(yàn)，了解大數(shù)據(jù)在互聯(lián)網(wǎng)的使用場(chǎng)景。
1）編寫并出版《Hadoop應(yīng)用開發(fā)技術(shù)詳解》圖書，銷售10000+冊(cè)——機(jī)械工業(yè)出版社(2014-01)
2）專利《海量數(shù)據(jù)基于記錄級(jí)別的容錯(cuò)》
3）在infoQ和CSDN等技術(shù)論壇都有采訪和發(fā)表過文章
4）2015 China hadoop summit 的特約演講嘉賓
專業(yè)技能：
1）能熟練的運(yùn)用Linux系統(tǒng)開發(fā)和shell編程,
2）精通java、熟悉python、R語言
3）熟悉struts、spring、hibernate開發(fā)
4）熟練運(yùn)用mysql、oracle等關(guān)系型數(shù)據(jù)庫(kù)，Cassendra、mongoDB、Redis等NoSql數(shù)據(jù)庫(kù)
7）熟練運(yùn)用flumeNG、scribe等日志收集工具
8）熟練運(yùn)用ganglia和Nagios、openTSDB對(duì)hadoop集群進(jìn)行監(jiān)控
9）熟練運(yùn)用storm、spark 分布式計(jì)算模型，spark Streaming、Mllib和graphx
10）精通MR的編程、Mahout、hbase、Oozie、Kafka、Impala、Tez、hive等應(yīng)用
11）精通hadoop平臺(tái)的搭建、優(yōu)化、監(jiān)控和其生態(tài)系統(tǒng)組件的使用。
12）熟悉openstack和docker虛擬化技術(shù)
認(rèn)證：
國(guó)考——軟件設(shè)計(jì)師(中級(jí))—2009年
近期案例：
蘭州銀行，大數(shù)據(jù)平臺(tái)，架構(gòu)師，2014年
內(nèi)蒙移動(dòng)，大數(shù)據(jù)平臺(tái)試點(diǎn)(Hadoop)，架構(gòu)師，2014年
遠(yuǎn)傳電信(臺(tái)灣)，Hadoop平臺(tái)優(yōu)化解決方案和實(shí)施，架構(gòu)師，2014年
招商銀行大數(shù)據(jù)咨詢項(xiàng)目規(guī)劃和設(shè)施，架構(gòu)師 2015年
交通銀行大數(shù)據(jù)平臺(tái)規(guī)劃和設(shè)施，架構(gòu)師 2015年
高德軟件，高德集團(tuán)大數(shù)據(jù)中心的建設(shè)、從15個(gè)Hadoop節(jié)點(diǎn)經(jīng)過5次的擴(kuò)容到300+節(jié)點(diǎn)，機(jī)房換了兩個(gè)，負(fù)責(zé)Hadoop平臺(tái)的開發(fā)、優(yōu)化、運(yùn)維和給兄弟部門提供服務(wù)等，Hadoop部門經(jīng)理，2011.03 -2013.01年
阿里巴巴大數(shù)據(jù)高級(jí)架構(gòu)師，負(fù)責(zé)OPDS平臺(tái)架構(gòu)、開發(fā)和運(yùn)維 2013-2014.04年
查看更多
課程費(fèi)用
課程費(fèi)用
課程費(fèi)用：5800元/人
查看更多
溫馨提示
酒店與住宿:
為防止極端情況下活動(dòng)延期或取消，建議“異地客戶”與活動(dòng)家客服確認(rèn)參會(huì)信息后，再安排出行與住宿。
退款規(guī)則:
活動(dòng)各項(xiàng)資源需提前采購(gòu)，購(gòu)票后不支持退款，可以換人參加。
您可能還會(huì)關(guān)注
-
DAMS2025中國(guó)數(shù)據(jù)智能管理峰會(huì)（上海）
2025-09-12 上海
-
QCon上海2025|全球軟件開發(fā)大會(huì)
2025-10-23 上海
-
2025 全球機(jī)器學(xué)習(xí)技術(shù)大會(huì)（ML-Summit）·北京
2025-10-16 北京
-
2025中國(guó)互聯(lián)網(wǎng)大會(huì)
2025-07-23 北京
贊助
