日程

課程主題

主要內(nèi)容

第

一

天

上

午

決策樹模型與各種集成模型；

Kaggle與工業(yè)界的大殺器—Xgboost;

隨機(jī)森林與深度學(xué)習(xí)的結(jié)合；

1.決策樹模型及其原理；

2.Bias and Various tradeoff原理：評估模型性能的直觀解釋；

3.各種集成模型（Ensemble）：bagging, boosting和隨機(jī)森林等樹集成模型與他們的原理和實(shí)際應(yīng)用；

4.Kaggle與工業(yè)界的大殺器—Xgboost: 原理和實(shí)際應(yīng)用中的技巧（如何在比賽和實(shí)際項(xiàng)目中使用xgboost達(dá)到最好的效果）；

5.隨機(jī)森林與深度學(xué)習(xí)的結(jié)合：Deep Forest的原理，數(shù)學(xué)推導(dǎo)和實(shí)用性；

6.實(shí)戰(zhàn)：各種特征工程和分類器在真實(shí)案例中的應(yīng)用

第

一

天

下

午

多層神經(jīng)網(wǎng)絡(luò)（MLP）與深度學(xué)習(xí)??????

1.多層全連接神經(jīng)網(wǎng)絡(luò)：

? 多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與網(wǎng)絡(luò)表達(dá)；

? 向前傳播與反向傳播原理和數(shù)學(xué)推導(dǎo)；

? 激活函數(shù)使用方法與優(yōu)劣；

? 損失函數(shù)使用方法與優(yōu)劣；

?? 各種正則化原理使用方法與優(yōu)劣（L1，L2, dropout等）；

2. 深度學(xué)習(xí)與多層神經(jīng)網(wǎng)絡(luò)的關(guān)系；

直觀解釋和理論分析深度學(xué)習(xí)效果強(qiáng)勁的背后原理；

3. 實(shí)戰(zhàn)：用python手工來實(shí)現(xiàn)復(fù)雜的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

第

二

天

上

午

卷積神經(jīng)網(wǎng)絡(luò)（CNN）與計(jì)算機(jī)視覺（CV）

1.? 計(jì)算機(jī)視覺中的大殺器—卷積神經(jīng)網(wǎng)絡(luò)：

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；

卷積層的原理和計(jì)算推導(dǎo)；

池化層；

全連接層；

2. 最近幾年常用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（Letnet, Alexnet, Vgg, Googlenet, Resnet等）和核心數(shù)學(xué)公式推導(dǎo);

3. 深度遷移學(xué)習(xí)（transferlearningindeeplearning）與多任務(wù)學(xué)習(xí)（multi-tasklearning）：

?? 深度遷移學(xué)習(xí)在計(jì)算機(jī)視覺中的基本概念和實(shí)際使用方法；

4. 實(shí)戰(zhàn)：用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)物體識別

第

二

天

下

午

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與自然語言處理（NLP）

1、在計(jì)算機(jī)中詞向量的表達(dá)形式和word embedding;

2、從詞向量到wordembedding的方法——word2vec: skip-gram和CBOW的原理，數(shù)學(xué)推導(dǎo)和實(shí)際應(yīng)用；

3、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的結(jié)構(gòu)與原理：

? ?循環(huán)神經(jīng)網(wǎng)絡(luò)在不同應(yīng)用中的不同網(wǎng)絡(luò)結(jié)構(gòu)；

? ?LSTM和GRU的拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)

? ?它們之間聯(lián)系與區(qū)別；

4、Sequence to Sequence模型的組成與優(yōu)缺點(diǎn)；

5、Attention-based模型的組成與數(shù)學(xué)推導(dǎo)；

6、實(shí)戰(zhàn)：用基于attention-based Seq2Seq實(shí)現(xiàn)機(jī)器翻譯；

第

三

天

上

午

深度學(xué)習(xí)在Google, Facebook, 百度，阿里等互聯(lián)網(wǎng)巨頭公司中的成功應(yīng)用——廣告點(diǎn)擊率預(yù)估（CTR預(yù)估）

1、什么是廣告點(diǎn)擊率預(yù)估，廣告點(diǎn)擊率預(yù)估的商業(yè)價(jià)值是什么;

?2、早期各大公司中廣告點(diǎn)擊率預(yù)估的機(jī)器學(xué)習(xí)模型的應(yīng)用和原理：

? ?LR, LR-FTRL; Factorization Machines; GBDT+LR;

3、最近兩年中，深度學(xué)習(xí)在這個(gè)領(lǐng)域的發(fā)展和實(shí)際應(yīng)用：

? ?l? Wide & Deep Learning;

? ?l? Deep Learning over Multi-field

? ?categorical data: FNN and SNN;

? ?l? Product-based Neural Networks: PNN;

? ?l? DeepFM;

? ?l? Neural Factorization Machine（NFM）

? ?l? Attentional Factorization Machine（AFM）

第

三

天

下

午

未來通用人工智能和最近熱門的發(fā)展方向—遷移學(xué)習(xí)（transferlearning），生成對抗網(wǎng)絡(luò)（GAN）和深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning）

1、遷移學(xué)習(xí)的基本概念和各種應(yīng)用場景；

2、四類遷移學(xué)習(xí)的方法；

3、最近的深度學(xué)習(xí)中的遷移學(xué)習(xí)：

? ?幾種常見的深度遷移學(xué)習(xí)的算法原理和核心數(shù)學(xué)公式推導(dǎo)；

4、生成模型與判別模型的區(qū)別與聯(lián)系

5、生成對抗網(wǎng)絡(luò)的基本原理和網(wǎng)絡(luò)結(jié)構(gòu)；

6、介紹深度強(qiáng)化學(xué)習(xí)；

?? 2016年轟動(dòng)人類的人工智能—AlphaGo的原理和數(shù)學(xué)推導(dǎo)；

?? 100 vs 0擊敗AlphaGo的又一“魔鬼”：AlphaGo Zero的原理和改進(jìn)之處；

第

三

天

自然語言處理中的機(jī)器學(xué)習(xí)

1.??? 詞嵌入模型 word embedding;

2.??? 高級詞向量表達(dá)技術(shù)：word2vec的兩個(gè)模型；

3.??? RNN網(wǎng)絡(luò)：從傳統(tǒng)RNN到LSTM, GRU和Bi-LSTM的原理理解與推導(dǎo)

4.??? 簡單理解Seq2Seq模型：Encoder-Decoder

5.??? 實(shí)踐:基于Seq2Seq的機(jī)器翻譯模型

第

三

天

高級自然語言處理技巧與

人工智能熱門技術(shù)

1.??? 重新認(rèn)識Seq2Seq模型，

? ?基于Attention-based model;

2.??? 強(qiáng)化學(xué)習(xí)概述與應(yīng)用；

3.??? GAN技術(shù)的概述與應(yīng)用；

4.??? 人工智能技術(shù)在工業(yè)界的發(fā)展展望與討論

本提綱只是一個(gè)初始版本，為了課程需要，中間細(xì)節(jié)內(nèi)容可能略微調(diào)整。授課時(shí)預(yù)留一些時(shí)間給學(xué)員答疑解惑，每天的課程會(huì)留出來一些時(shí)間給學(xué)員做總結(jié)和答疑階段，為了學(xué)員能更好的學(xué)以致用，建議學(xué)員帶著自己實(shí)際項(xiàng)目或者之前學(xué)習(xí)過程中的問題去聽課，授課過程中積極與講師互動(dòng)，來解決之前的困惑。