各有關(guān)單位：

中國科學(xué)院計(jì)算技術(shù)研究所是國家專門的計(jì)算技術(shù)研究機(jī)構(gòu)，同時(shí)也是中國信息化建設(shè)和人工智能建設(shè)的重要支撐單位，中科院計(jì)算所培訓(xùn)中心是致力于高端IT類人才培養(yǎng)及企業(yè)內(nèi)訓(xùn)的專業(yè)培訓(xùn)機(jī)構(gòu)。中心憑借科學(xué)院的強(qiáng)大師資力量，在總結(jié)多年大型軟件開發(fā)和組織經(jīng)驗(yàn)的基礎(chǔ)上，自主研發(fā)出一整套課程體系，其目的是希望能夠切實(shí)幫助中國軟件企業(yè)培養(yǎng)高級軟件技術(shù)人才，提升整體研發(fā)能力，迄今為止已先后為國家培養(yǎng)了數(shù)萬名計(jì)算機(jī)專業(yè)人員，并先后為數(shù)千家大型國內(nèi)外企業(yè)進(jìn)行過專門的定制培訓(xùn)服務(wù)。

中國的IT產(chǎn)業(yè)經(jīng)歷了十多年的發(fā)展，已經(jīng)獲得了長足的進(jìn)步。未來IT產(chǎn)業(yè)新的增長點(diǎn)包括數(shù)字產(chǎn)業(yè)、機(jī)器學(xué)習(xí)、人工智能。但當(dāng)我們真正要開展這類業(yè)務(wù)時(shí)，卻驚奇地發(fā)現(xiàn)，沒有數(shù)據(jù)中臺，我們什么都干不了。為解決相關(guān)企業(yè)數(shù)據(jù)中臺與大數(shù)據(jù)建設(shè)的需要，培訓(xùn)中心特舉辦“數(shù)據(jù)中臺與大數(shù)據(jù)建設(shè)的方法及實(shí)踐”培訓(xùn)班，具體事宜通知如下：

一、培訓(xùn)對象

1、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。

2、牽涉到海量數(shù)據(jù)處理的機(jī)構(gòu)數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。

3、云服務(wù)運(yùn)營服務(wù)提供商規(guī)劃負(fù)責(zé)人。

4、高校、科研院所牽涉到數(shù)據(jù)中臺與大數(shù)據(jù)的項(xiàng)目負(fù)責(zé)人。

二、培訓(xùn)特色

本課程的授課特點(diǎn)是注重實(shí)戰(zhàn)，通過講師十幾年經(jīng)驗(yàn)收集的大量真實(shí)案例，與學(xué)員共同探討數(shù)據(jù)中臺的技術(shù)架構(gòu)，以及如何簡化技術(shù)開發(fā)成本，開展更多的數(shù)據(jù)挖掘、人工智能業(yè)務(wù)的思路與模式。通過總結(jié)以往項(xiàng)目過程中技術(shù)人員常犯的錯(cuò)誤，分析和探討正確的方法論，使相關(guān)企業(yè)少走彎路，高效構(gòu)建屬于自己的數(shù)據(jù)中臺。

三、師資

范老師

航天信息前首席架構(gòu)師，暢銷書籍《大話重構(gòu)》作者，規(guī)模化敏捷SPC，軟件架構(gòu)及重構(gòu)的客座講師，獨(dú)立咨詢顧問。先后參與了數(shù)十個(gè)國內(nèi)大型軟件項(xiàng)目，涉及國家財(cái)政、軍工、稅務(wù)、醫(yī)療等領(lǐng)域的大數(shù)據(jù)建設(shè)、風(fēng)險(xiǎn)防控與人工智能研究，互聯(lián)網(wǎng)及大數(shù)據(jù)轉(zhuǎn)型的實(shí)踐者與倡導(dǎo)者。

四、培訓(xùn)內(nèi)容

第一講 數(shù)據(jù)中臺建設(shè)（基礎(chǔ)篇）

本節(jié)要點(diǎn)：

????中國的信息化建設(shè)開始由IT向著DT轉(zhuǎn)型，在未來的3-5年時(shí)間里，各行各業(yè)都會陸續(xù)建設(shè)起來自己的數(shù)據(jù)中臺。只有有了數(shù)據(jù)中臺作為基礎(chǔ)，才能落地更多的人工智能應(yīng)用。然而，什么是數(shù)據(jù)中臺，它有什么功能，該如何建設(shè)？本節(jié)從DT轉(zhuǎn)型的過程開始梳理，幫助大家準(zhǔn)確理解數(shù)據(jù)中臺的建設(shè)。

目標(biāo)：

????1、準(zhǔn)確理解數(shù)據(jù)中臺，數(shù)據(jù)驅(qū)動，以及數(shù)據(jù)價(jià)值變現(xiàn)

??2、在數(shù)據(jù)中臺中實(shí)踐“盡可能采集數(shù)據(jù)、更好地整理數(shù)據(jù)、有效地挖掘數(shù)據(jù)價(jià)值”

??3、將“自頂向下”與“自下而上”相結(jié)合，制訂切實(shí)可行的數(shù)據(jù)中臺建設(shè)路線圖

??4、數(shù)據(jù)中臺的技術(shù)架構(gòu)最終落地到分布式大數(shù)據(jù)技術(shù)上

內(nèi)容：

????1、從IT向DT的信息化轉(zhuǎn)型

?????1）以部門為單位的IT建設(shè)及其局限

?????2）基于SOA架構(gòu)的IT建設(shè)及其局限

?????3）互聯(lián)網(wǎng)架構(gòu)發(fā)展及其數(shù)據(jù)需求

?????結(jié)論：我們需要存儲、處理、應(yīng)用海量數(shù)據(jù)的能力

??2、數(shù)據(jù)應(yīng)用成熟度

?????1）查詢統(tǒng)計(jì)：數(shù)據(jù)分散于各業(yè)務(wù)系統(tǒng)，無質(zhì)量管控，應(yīng)用價(jià)值低

?????2）決策支持：數(shù)據(jù)集中于數(shù)據(jù)倉庫，有質(zhì)量管控，但局限于數(shù)據(jù)庫、數(shù)據(jù)采集手段等問題

?????3）數(shù)據(jù)中臺：讓數(shù)據(jù)產(chǎn)生價(jià)值（核心）

??3、數(shù)據(jù)中臺

?????1）盡可能多地收集數(shù)據(jù)

?????2）更好地整理歸集數(shù)據(jù)

?????3）如何去挖掘數(shù)據(jù)的價(jià)值

??4、數(shù)據(jù)中臺的建設(shè)思路

?????1）自頂而下

?????2）自下而上

??5、數(shù)據(jù)中臺的技術(shù)架構(gòu)

第二講 數(shù)據(jù)中臺建設(shè)（大數(shù)據(jù)篇）

本節(jié)要點(diǎn)：

數(shù)據(jù)中臺建設(shè)的底層技術(shù)框架是大數(shù)據(jù)技術(shù)。通過大數(shù)據(jù)技術(shù)，可以為數(shù)據(jù)中臺提供豐富的手段，采集更多的數(shù)據(jù)、更高效處理數(shù)據(jù)，以及有更多的方式挖掘數(shù)據(jù)價(jià)值。那么，什么是大數(shù)據(jù)技術(shù)，它們有什么豐富的手段，怎么建設(shè)大數(shù)據(jù)技術(shù)中臺，去支撐數(shù)據(jù)中臺？

目標(biāo)：

????1、了解大數(shù)據(jù)技術(shù)的運(yùn)行原理，理解大數(shù)據(jù)為什么能夠高效處理海量數(shù)據(jù)

??2、掌握大數(shù)據(jù)有哪些豐富的技術(shù)，如何支撐數(shù)據(jù)中臺的各個(gè)層次的應(yīng)用

??3、掌握大數(shù)據(jù)技術(shù)中臺的建設(shè)思路，如何封裝技術(shù)框架、支撐業(yè)務(wù)應(yīng)用

內(nèi)容：

??1、傳統(tǒng)關(guān)系型數(shù)據(jù)庫的設(shè)計(jì)局限

???????1）數(shù)據(jù)量

?????2）計(jì)算能力

?????3）數(shù)據(jù)復(fù)雜性

??2、分布式大數(shù)據(jù)的設(shè)計(jì)理念

?????1）分布式并行計(jì)算

?????2）移動計(jì)算而不是移動數(shù)據(jù)

?????3）分布式計(jì)算發(fā)展歷程與未來趨勢

??3、大數(shù)據(jù)技術(shù)及其生態(tài)圈

?????1）Hadoop核心組件：MapReduce，HDFS

?????2）并行計(jì)算框架：Spark vs. MapReduce

?????3）在線查詢：HBase與Impala

?????4）流式計(jì)算：Flink vs. Spark Stream

?????5）文本索引：Solr vs. ElasticSearch

?????6）Zookeeper與高可靠架構(gòu)

?????7）Kafka分布式隊(duì)列與日志收集

?????8）數(shù)據(jù)挖掘工具：Mahout、SparkR與Spark ML

??4、數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)中臺建設(shè)

?????1）數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)框架

?????2）數(shù)據(jù)中臺的大數(shù)據(jù)關(guān)鍵技術(shù)

????????a.?Hadoop的工作原理與HDFS

????????b. Spark的工作原理與分布式內(nèi)存計(jì)算

?????3）數(shù)據(jù)中臺的大數(shù)據(jù)技術(shù)中臺建設(shè)

????????a.將技術(shù)框架與業(yè)務(wù)應(yīng)用解耦

?b.抽象共性、降本增效的思想方法

?c.業(yè)務(wù)層、基礎(chǔ)層與技術(shù)層的建設(shè)思路

第三講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)治理篇）

本節(jié)要點(diǎn)：

????在數(shù)據(jù)中臺建設(shè)中，數(shù)據(jù)治理起到及其重要的作用，可以有效地進(jìn)行數(shù)據(jù)質(zhì)量管理，為后續(xù)的數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。在本節(jié)課程中，老師詳細(xì)拆解，多樣化地采集數(shù)據(jù)，設(shè)計(jì)ETL過程，進(jìn)行數(shù)據(jù)質(zhì)量管理，運(yùn)用大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)倉庫。

目標(biāo)：

????1、掌握大數(shù)據(jù)技術(shù)結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)采集

??2、掌握數(shù)據(jù)中臺的ETL過程與數(shù)據(jù)倉庫建設(shè)實(shí)踐

??3、如何運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程與數(shù)據(jù)倉庫建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺中數(shù)據(jù)采集功能的建設(shè)思路

?1）結(jié)構(gòu)化數(shù)據(jù)采集（Sqoop框架）及其案例實(shí)戰(zhàn)

?a. Sqoop數(shù)據(jù)導(dǎo)入設(shè)計(jì)實(shí)戰(zhàn)

?b. Sqoop數(shù)據(jù)導(dǎo)出設(shè)計(jì)實(shí)戰(zhàn)

?c. Sqoop在大數(shù)據(jù)技術(shù)中臺中的設(shè)計(jì)思路

?2）非結(jié)構(gòu)化數(shù)據(jù)采集（flume+kafka+spark streaming）及其案例實(shí)戰(zhàn)

?a. flume+kafka+spark streaming的設(shè)計(jì)原理

?b.用戶行為分析的應(yīng)用實(shí)戰(zhàn)

2、數(shù)據(jù)中臺中的數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)倉庫

1） ETL過程中數(shù)據(jù)清洗、轉(zhuǎn)換、集成及其應(yīng)用實(shí)戰(zhàn)

2）運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程的應(yīng)用實(shí)戰(zhàn)

?a. Spark+Hive的設(shè)計(jì)原理與實(shí)戰(zhàn)

?b. Spark+Hive在大數(shù)據(jù)技術(shù)中臺中的設(shè)計(jì)思路

3）多維數(shù)據(jù)模型與數(shù)據(jù)倉庫建設(shè)

?a. 多維數(shù)據(jù)模型的概念及其應(yīng)用實(shí)踐

?b. 雪花模型、星形模型與主題域模型的建設(shè)過程

?c. 分享在數(shù)據(jù)倉庫建設(shè)上遇到的那些“坑”及其解決思路

3、數(shù)據(jù)中臺的質(zhì)量體系建設(shè)

?????1）數(shù)據(jù)體系規(guī)劃：原始數(shù)據(jù)層、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層

?????2）數(shù)據(jù)資產(chǎn)管理：資產(chǎn)規(guī)劃、數(shù)據(jù)治理、標(biāo)簽管理

?????3）數(shù)據(jù)質(zhì)量管理：元數(shù)據(jù)管理、數(shù)據(jù)血緣管理

?????4）數(shù)據(jù)倉庫建設(shè)：多維數(shù)據(jù)建模、事實(shí)表、維度表、聚合表

第四講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)應(yīng)用篇）

本節(jié)要點(diǎn)：

????數(shù)據(jù)中臺建設(shè)的核心就是數(shù)據(jù)驅(qū)動，也就是以數(shù)據(jù)價(jià)值變現(xiàn)為核心，思考如何挖掘數(shù)據(jù)價(jià)值、設(shè)計(jì)數(shù)據(jù)產(chǎn)品、形成數(shù)據(jù)應(yīng)用，甚至是智能應(yīng)用。老師將通過一大波的應(yīng)用案例，帶領(lǐng)大家去探尋數(shù)據(jù)應(yīng)用的神奇世界，挖掘數(shù)據(jù)應(yīng)用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標(biāo)：

??1、掌握數(shù)據(jù)價(jià)值變現(xiàn)的常見方法（可視化、風(fēng)控、推薦、人工智能等）

??2、掌握基于數(shù)據(jù)集市的數(shù)據(jù)建模過程（經(jīng)驗(yàn)?zāi)Ｐ?、?shù)據(jù)模型）

??3、掌握如何將數(shù)據(jù)應(yīng)用落地到大數(shù)據(jù)技術(shù)中臺建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺的核心是數(shù)據(jù)價(jià)值變現(xiàn)

?????1）數(shù)據(jù)可視化

????????案例：網(wǎng)絡(luò)運(yùn)營商大數(shù)據(jù)監(jiān)控系統(tǒng)建設(shè)過程

?????2）數(shù)據(jù)風(fēng)控

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)建設(shè)過程

?????3）數(shù)字化運(yùn)營

????????案例：用戶行為分析與數(shù)字化運(yùn)營的建設(shè)過程

?????4）數(shù)據(jù)挖掘與人工智能

????????案例：遠(yuǎn)程智慧醫(yī)療平臺的人工智能建設(shè)過程

2、數(shù)據(jù)集市的系統(tǒng)建設(shè)與數(shù)據(jù)標(biāo)簽

1）數(shù)據(jù)集市的概念與應(yīng)用舉例

案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)的數(shù)據(jù)集市應(yīng)用

2）數(shù)據(jù)血緣管理的概念及其設(shè)計(jì)

a. 數(shù)據(jù)血緣管理在數(shù)據(jù)質(zhì)量管理中的重要作用

b. 數(shù)據(jù)血緣管理的相關(guān)設(shè)計(jì)及其實(shí)踐

3）數(shù)據(jù)標(biāo)簽的分析設(shè)計(jì)與開發(fā)

a. 數(shù)據(jù)標(biāo)簽的類型與在數(shù)據(jù)分析中的作用

b. 數(shù)據(jù)標(biāo)簽融合表及其設(shè)計(jì)實(shí)踐

第五講 數(shù)據(jù)中臺建設(shè)（數(shù)據(jù)服務(wù)篇）

本節(jié)要點(diǎn)：

??數(shù)據(jù)中臺經(jīng)過一系列的分析處理之后，最終要對外提供數(shù)據(jù)服務(wù)才能價(jià)值變現(xiàn)。數(shù)據(jù)展現(xiàn)與數(shù)據(jù)服務(wù)是價(jià)值變現(xiàn)的最后一步，是用戶對產(chǎn)品質(zhì)量最直觀的感受。因此，數(shù)據(jù)服務(wù)需要提供良好的用戶體驗(yàn)，就需要數(shù)據(jù)服務(wù)“快、準(zhǔn)、美”。

目標(biāo)：

????1、掌握在海量數(shù)據(jù)中離線分析、在線分析與近線分析的設(shè)計(jì)思路

??2、掌握在海量數(shù)據(jù)中秒級查詢的設(shè)計(jì)思路（數(shù)據(jù)索引）與實(shí)踐

??3、理解打造支持快速數(shù)據(jù)分析展現(xiàn)的大數(shù)據(jù)技術(shù)中臺建設(shè)思路

內(nèi)容：

????1、海量數(shù)據(jù)的離線分析、在線分析與近線分析

?????1）離線分析的概念與設(shè)計(jì)實(shí)踐

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)的風(fēng)險(xiǎn)數(shù)據(jù)離線分析

?????2）在線分析的概念與設(shè)計(jì)實(shí)踐

????????案例：網(wǎng)絡(luò)運(yùn)營商大數(shù)據(jù)監(jiān)控系統(tǒng)的實(shí)時(shí)流量監(jiān)控

?????3）近線分析的概念與設(shè)計(jì)實(shí)踐

????????案例：用戶行為分析與數(shù)字化運(yùn)營的分析設(shè)計(jì)過程

????2、海量數(shù)據(jù)的秒級查詢的設(shè)計(jì)實(shí)現(xiàn)

?????1）分布式NoSQL數(shù)據(jù)庫的設(shè)計(jì)實(shí)踐

?????????a. 傳統(tǒng)關(guān)系型數(shù)據(jù)庫的局限與NoSQL數(shù)據(jù)庫

????????b. MongoDB的工作原理與設(shè)計(jì)實(shí)踐

????????c. HBase的工作原理與設(shè)計(jì)實(shí)踐

?????2）分布式索引ElasticSearch的設(shè)計(jì)實(shí)踐

????????a. ElasticSearch的工作原理與設(shè)計(jì)實(shí)踐

????????b. ElasticSearch的優(yōu)化與在技術(shù)中臺中的設(shè)計(jì)思路

?????3）分布式MOLAP框架Kylin的設(shè)計(jì)實(shí)踐

????????a. Kylin的工作原理與設(shè)計(jì)實(shí)踐

????????b. Kylin的降維設(shè)計(jì)與性能優(yōu)化

????3、海量數(shù)據(jù)的數(shù)據(jù)服務(wù)與數(shù)據(jù)共享

?????1）大數(shù)據(jù)分析報(bào)表系統(tǒng)的技術(shù)中臺建設(shè)思路

?????2）大數(shù)據(jù)服務(wù)共享平臺的技術(shù)架構(gòu)與建設(shè)思路

?????????

五、時(shí)間、形式

時(shí)間：2020年4月20日-4月24日（每天19:30-22:00，授課2小時(shí)，討論互動0.5小時(shí)）

????形式：線上

六、證書

培訓(xùn)結(jié)束，頒發(fā)中科院計(jì)算所職業(yè)培訓(xùn)中心“數(shù)據(jù)中臺與大數(shù)據(jù)建設(shè)的方法及實(shí)踐”結(jié)業(yè)證書。

培訓(xùn)費(fèi)：?原價(jià)6200元/人，特別價(jià)格2600元/人

中科院計(jì)算所職業(yè)培訓(xùn)中心

---2020年四月份程安排

中國科學(xué)院計(jì)算技術(shù)研究所是國家專門的計(jì)算技術(shù)研究機(jī)構(gòu)，同時(shí)也是中國信息化建設(shè)的重要支撐單位。中科院計(jì)算所培訓(xùn)中心致力于高端IT類人才培養(yǎng)，憑借科學(xué)院強(qiáng)大師資力量，在總結(jié)多年大型軟件開發(fā)和組織經(jīng)驗(yàn)的基礎(chǔ)上，自主研發(fā)出一整套符合現(xiàn)代企業(yè)要求的課程體系，其目的是希望能切實(shí)幫助中國軟件企業(yè)培養(yǎng)高級軟件技術(shù)人才，提升企業(yè)整體研發(fā)與創(chuàng)新能力。迄今為止已先后為國家培養(yǎng)了數(shù)萬名計(jì)算機(jī)專業(yè)人員，并先后為數(shù)千家大型國內(nèi)外企業(yè)進(jìn)行過專門的定制培訓(xùn)與咨詢服務(wù)。

在新時(shí)代，培訓(xùn)中心課程設(shè)置的重心轉(zhuǎn)向了體系建設(shè)、管理創(chuàng)新、技術(shù)創(chuàng)新與創(chuàng)新人才培養(yǎng)，依托科學(xué)院的科技實(shí)力，準(zhǔn)確掌握科技領(lǐng)域的專業(yè)知識，深度挖掘科技創(chuàng)新在生產(chǎn)生活中的最新應(yīng)用，集結(jié)上百名活躍于各專業(yè)技術(shù)領(lǐng)域的優(yōu)秀講師，盡最大努力提供優(yōu)質(zhì)課程服務(wù)，幫助企業(yè)從思維、組織、過程、技術(shù)、方法、應(yīng)用等方面全面提升能力，與廣大企事業(yè)單位共同努力，讓國家信息產(chǎn)業(yè)的發(fā)展，緊跟世界進(jìn)步的腳步。

鑒于目前的特殊情況，培訓(xùn)中心適時(shí)推出了系列線上特價(jià)課程，將以往的季度排課，調(diào)整為每月中排出下個(gè)月的課程，四月份，我們設(shè)立了以下課程，誠邀各企事業(yè)單位及有志之士積極參與，以積極的心態(tài)共戰(zhàn)疫情，為疫情過后的快速發(fā)展奠定堅(jiān)實(shí)的基礎(chǔ)。

四月份線上課程安排：