培訓(xùn)內(nèi)容

第一講 數(shù)據(jù)中臺(tái)建設(shè)（基礎(chǔ)篇）

本節(jié)要點(diǎn)：

????中國的信息化建設(shè)開始由IT向著DT轉(zhuǎn)型，在未來的3-5年時(shí)間里，各行各業(yè)都會(huì)陸續(xù)建設(shè)起來自己的數(shù)據(jù)中臺(tái)。只有有了數(shù)據(jù)中臺(tái)作為基礎(chǔ)，才能落地更多的人工智能應(yīng)用。然而，什么是數(shù)據(jù)中臺(tái)，它有什么功能，該如何建設(shè)？本節(jié)從DT轉(zhuǎn)型的過程開始梳理，幫助大家準(zhǔn)確理解數(shù)據(jù)中臺(tái)的建設(shè)。

目標(biāo)：

????1、準(zhǔn)確理解數(shù)據(jù)中臺(tái)，數(shù)據(jù)驅(qū)動(dòng)，以及數(shù)據(jù)價(jià)值變現(xiàn)

??2、在數(shù)據(jù)中臺(tái)中實(shí)踐“盡可能采集數(shù)據(jù)、更好地整理數(shù)據(jù)、有效地挖掘數(shù)據(jù)價(jià)值”

??3、將“自頂向下”與“自下而上”相結(jié)合，制訂切實(shí)可行的數(shù)據(jù)中臺(tái)建設(shè)路線圖

??4、數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)最終落地到分布式大數(shù)據(jù)技術(shù)上

內(nèi)容：

????1、從IT向DT的信息化轉(zhuǎn)型

?????1）以部門為單位的IT建設(shè)及其局限

?????2）基于SOA架構(gòu)的IT建設(shè)及其局限

?????3）互聯(lián)網(wǎng)架構(gòu)發(fā)展及其數(shù)據(jù)需求

?????結(jié)論：我們需要存儲(chǔ)、處理、應(yīng)用海量數(shù)據(jù)的能力

??2、數(shù)據(jù)應(yīng)用成熟度

?????1）查詢統(tǒng)計(jì)：數(shù)據(jù)分散于各業(yè)務(wù)系統(tǒng)，無質(zhì)量管控，應(yīng)用價(jià)值低

?????2）決策支持：數(shù)據(jù)集中于數(shù)據(jù)倉庫，有質(zhì)量管控，但局限于數(shù)據(jù)庫、數(shù)據(jù)采集手段等問題

?????3）數(shù)據(jù)中臺(tái)：讓數(shù)據(jù)產(chǎn)生價(jià)值（核心）

??3、數(shù)據(jù)中臺(tái)

?????1）盡可能多地收集數(shù)據(jù)

?????2）更好地整理歸集數(shù)據(jù)

?????3）如何去挖掘數(shù)據(jù)的價(jià)值

??4、數(shù)據(jù)中臺(tái)的建設(shè)思路

?????1）自頂而下

?????2）自下而上

??5、數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)

?

第二講 數(shù)據(jù)中臺(tái)建設(shè)（大數(shù)據(jù)篇）

本節(jié)要點(diǎn)：

數(shù)據(jù)中臺(tái)建設(shè)的底層技術(shù)框架是大數(shù)據(jù)技術(shù)。通過大數(shù)據(jù)技術(shù)，可以為數(shù)據(jù)中臺(tái)提供豐富的手段，采集更多的數(shù)據(jù)、更高效處理數(shù)據(jù)，以及有更多的方式挖掘數(shù)據(jù)價(jià)值。那么，什么是大數(shù)據(jù)技術(shù)，它們有什么豐富的手段，怎么建設(shè)大數(shù)據(jù)技術(shù)中臺(tái)，去支撐數(shù)據(jù)中臺(tái)？

目標(biāo)：

????1、了解大數(shù)據(jù)技術(shù)的運(yùn)行原理，理解大數(shù)據(jù)為什么能夠高效處理海量數(shù)據(jù)

??2、掌握大數(shù)據(jù)有哪些豐富的技術(shù)，如何支撐數(shù)據(jù)中臺(tái)的各個(gè)層次的應(yīng)用

??3、掌握大數(shù)據(jù)技術(shù)中臺(tái)的建設(shè)思路，如何封裝技術(shù)框架、支撐業(yè)務(wù)應(yīng)用

內(nèi)容：

??1、傳統(tǒng)關(guān)系型數(shù)據(jù)庫的設(shè)計(jì)局限

???????1）數(shù)據(jù)量

?????2）計(jì)算能力

?????3）數(shù)據(jù)復(fù)雜性

??2、分布式大數(shù)據(jù)的設(shè)計(jì)理念

?????1）分布式并行計(jì)算

?????2）移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)

?????3）分布式計(jì)算發(fā)展歷程與未來趨勢(shì)

??3、大數(shù)據(jù)技術(shù)及其生態(tài)圈

?????1）Hadoop核心組件：MapReduce，HDFS

?????2）并行計(jì)算框架：Spark vs. MapReduce

?????3）在線查詢：HBase與Impala

?????4）流式計(jì)算：Flink vs. Spark Stream

?????5）文本索引：Solr vs. ElasticSearch

?????6）Zookeeper與高可靠架構(gòu)

?????7）Kafka分布式隊(duì)列與日志收集

?????8）數(shù)據(jù)挖掘工具：Mahout、SparkR與Spark ML

??4、數(shù)據(jù)中臺(tái)的大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)

?????1）數(shù)據(jù)中臺(tái)的大數(shù)據(jù)技術(shù)框架

?????2）數(shù)據(jù)中臺(tái)的大數(shù)據(jù)關(guān)鍵技術(shù)

????????a.?Hadoop的工作原理與HDFS

????????b. Spark的工作原理與分布式內(nèi)存計(jì)算

?????3）數(shù)據(jù)中臺(tái)的大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)

????????a.將技術(shù)框架與業(yè)務(wù)應(yīng)用解耦

?b.抽象共性、降本增效的思想方法

?c.業(yè)務(wù)層、基礎(chǔ)層與技術(shù)層的建設(shè)思路

?

第三講 數(shù)據(jù)中臺(tái)建設(shè)（數(shù)據(jù)治理篇）

本節(jié)要點(diǎn)：

????在數(shù)據(jù)中臺(tái)建設(shè)中，數(shù)據(jù)治理起到及其重要的作用，可以有效地進(jìn)行數(shù)據(jù)質(zhì)量管理，為后續(xù)的數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。在本節(jié)課程中，老師詳細(xì)拆解，多樣化地采集數(shù)據(jù)，設(shè)計(jì)ETL過程，進(jìn)行數(shù)據(jù)質(zhì)量管理，運(yùn)用大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)倉庫。

目標(biāo)：

????1、掌握大數(shù)據(jù)技術(shù)結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)采集

??2、掌握數(shù)據(jù)中臺(tái)的ETL過程與數(shù)據(jù)倉庫建設(shè)實(shí)踐

??3、如何運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程與數(shù)據(jù)倉庫建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺(tái)中數(shù)據(jù)采集功能的建設(shè)思路

?1）結(jié)構(gòu)化數(shù)據(jù)采集（Sqoop框架）及其案例實(shí)戰(zhàn)

?a. Sqoop數(shù)據(jù)導(dǎo)入設(shè)計(jì)實(shí)戰(zhàn)

?b. Sqoop數(shù)據(jù)導(dǎo)出設(shè)計(jì)實(shí)戰(zhàn)

?c. Sqoop在大數(shù)據(jù)技術(shù)中臺(tái)中的設(shè)計(jì)思路

?2）非結(jié)構(gòu)化數(shù)據(jù)采集（flume+kafka+spark streaming）及其案例實(shí)戰(zhàn)

?a. flume+kafka+spark streaming的設(shè)計(jì)原理

?b.用戶行為分析的應(yīng)用實(shí)戰(zhàn)

2、數(shù)據(jù)中臺(tái)中的數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)倉庫

1） ETL過程中數(shù)據(jù)清洗、轉(zhuǎn)換、集成及其應(yīng)用實(shí)戰(zhàn)

2）運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程的應(yīng)用實(shí)戰(zhàn)

?a. Spark+Hive的設(shè)計(jì)原理與實(shí)戰(zhàn)

?b. Spark+Hive在大數(shù)據(jù)技術(shù)中臺(tái)中的設(shè)計(jì)思路

3）多維數(shù)據(jù)模型與數(shù)據(jù)倉庫建設(shè)

?a. 多維數(shù)據(jù)模型的概念及其應(yīng)用實(shí)踐

?b. 雪花模型、星形模型與主題域模型的建設(shè)過程

?c. 分享在數(shù)據(jù)倉庫建設(shè)上遇到的那些“坑”及其解決思路

3、數(shù)據(jù)中臺(tái)的質(zhì)量體系建設(shè)

?????1）數(shù)據(jù)體系規(guī)劃：原始數(shù)據(jù)層、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層

?????2）數(shù)據(jù)資產(chǎn)管理：資產(chǎn)規(guī)劃、數(shù)據(jù)治理、標(biāo)簽管理

?????3）數(shù)據(jù)質(zhì)量管理：元數(shù)據(jù)管理、數(shù)據(jù)血緣管理

?????4）數(shù)據(jù)倉庫建設(shè)：多維數(shù)據(jù)建模、事實(shí)表、維度表、聚合表

?

第四講 數(shù)據(jù)中臺(tái)建設(shè)（數(shù)據(jù)應(yīng)用篇）

本節(jié)要點(diǎn)：

????數(shù)據(jù)中臺(tái)建設(shè)的核心就是數(shù)據(jù)驅(qū)動(dòng)，也就是以數(shù)據(jù)價(jià)值變現(xiàn)為核心，思考如何挖掘數(shù)據(jù)價(jià)值、設(shè)計(jì)數(shù)據(jù)產(chǎn)品、形成數(shù)據(jù)應(yīng)用，甚至是智能應(yīng)用。老師將通過一大波的應(yīng)用案例，帶領(lǐng)大家去探尋數(shù)據(jù)應(yīng)用的神奇世界，挖掘數(shù)據(jù)應(yīng)用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標(biāo)：

??1、掌握數(shù)據(jù)價(jià)值變現(xiàn)的常見方法（可視化、風(fēng)控、推薦、人工智能等）

??2、掌握基于數(shù)據(jù)集市的數(shù)據(jù)建模過程（經(jīng)驗(yàn)?zāi)Ｐ?、?shù)據(jù)模型）

??3、掌握如何將數(shù)據(jù)應(yīng)用落地到大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)價(jià)值變現(xiàn)

?????1）數(shù)據(jù)可視化

????????案例：網(wǎng)絡(luò)運(yùn)營商大數(shù)據(jù)監(jiān)控系統(tǒng)建設(shè)過程

?????2）數(shù)據(jù)風(fēng)控

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)建設(shè)過程

?????3）數(shù)字化運(yùn)營

????????案例：用戶行為分析與數(shù)字化運(yùn)營的建設(shè)過程

?????4）數(shù)據(jù)挖掘與人工智能

????????案例：遠(yuǎn)程智慧醫(yī)療平臺(tái)的人工智能建設(shè)過程

2、數(shù)據(jù)集市的系統(tǒng)建設(shè)與數(shù)據(jù)標(biāo)簽

1）數(shù)據(jù)集市的概念與應(yīng)用舉例

案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)的數(shù)據(jù)集市應(yīng)用

2）數(shù)據(jù)血緣管理的概念及其設(shè)計(jì)

a. 數(shù)據(jù)血緣管理在數(shù)據(jù)質(zhì)量管理中的重要作用

b. 數(shù)據(jù)血緣管理的相關(guān)設(shè)計(jì)及其實(shí)踐

3）數(shù)據(jù)標(biāo)簽的分析設(shè)計(jì)與開發(fā)

a. 數(shù)據(jù)標(biāo)簽的類型與在數(shù)據(jù)分析中的作用

b. 數(shù)據(jù)標(biāo)簽融合表及其設(shè)計(jì)實(shí)踐

?

第五講 數(shù)據(jù)中臺(tái)建設(shè)（數(shù)據(jù)服務(wù)篇）

本節(jié)要點(diǎn)：

??數(shù)據(jù)中臺(tái)經(jīng)過一系列的分析處理之后，最終要對(duì)外提供數(shù)據(jù)服務(wù)才能價(jià)值變現(xiàn)。數(shù)據(jù)展現(xiàn)與數(shù)據(jù)服務(wù)是價(jià)值變現(xiàn)的最后一步，是用戶對(duì)產(chǎn)品質(zhì)量最直觀的感受。因此，數(shù)據(jù)服務(wù)需要提供良好的用戶體驗(yàn)，就需要數(shù)據(jù)服務(wù)“快、準(zhǔn)、美”。

目標(biāo)：

????1、掌握在海量數(shù)據(jù)中離線分析、在線分析與近線分析的設(shè)計(jì)思路

??2、掌握在海量數(shù)據(jù)中秒級(jí)查詢的設(shè)計(jì)思路（數(shù)據(jù)索引）與實(shí)踐

??3、理解打造支持快速數(shù)據(jù)分析展現(xiàn)的大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)思路

內(nèi)容：

????1、海量數(shù)據(jù)的離線分析、在線分析與近線分析

?????1）離線分析的概念與設(shè)計(jì)實(shí)踐

????????案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)的風(fēng)險(xiǎn)數(shù)據(jù)離線分析

?????2）在線分析的概念與設(shè)計(jì)實(shí)踐

????????案例：網(wǎng)絡(luò)運(yùn)營商大數(shù)據(jù)監(jiān)控系統(tǒng)的實(shí)時(shí)流量監(jiān)控

?????3）近線分析的概念與設(shè)計(jì)實(shí)踐

????????案例：用戶行為分析與數(shù)字化運(yùn)營的分析設(shè)計(jì)過程

????2、海量數(shù)據(jù)的秒級(jí)查詢的設(shè)計(jì)實(shí)現(xiàn)

?????1）分布式NoSQL數(shù)據(jù)庫的設(shè)計(jì)實(shí)踐

?????????a. 傳統(tǒng)關(guān)系型數(shù)據(jù)庫的局限與NoSQL數(shù)據(jù)庫

????????b. MongoDB的工作原理與設(shè)計(jì)實(shí)踐

????????c. HBase的工作原理與設(shè)計(jì)實(shí)踐

?????2）分布式索引ElasticSearch的設(shè)計(jì)實(shí)踐

????????a. ElasticSearch的工作原理與設(shè)計(jì)實(shí)踐

????????b. ElasticSearch的優(yōu)化與在技術(shù)中臺(tái)中的設(shè)計(jì)思路

?????3）分布式MOLAP框架Kylin的設(shè)計(jì)實(shí)踐

????????a. Kylin的工作原理與設(shè)計(jì)實(shí)踐

????????b. Kylin的降維設(shè)計(jì)與性能優(yōu)化

????3、海量數(shù)據(jù)的數(shù)據(jù)服務(wù)與數(shù)據(jù)共享

?????1）大數(shù)據(jù)分析報(bào)表系統(tǒng)的技術(shù)中臺(tái)建設(shè)思路

?????2）大數(shù)據(jù)服務(wù)共享平臺(tái)的技術(shù)架構(gòu)與建設(shè)思路

?????????