日程

課程主題

主要內(nèi)容

第

一

天

上

午

決策樹模型與各種集成模型；

Kaggle與工業(yè)界的大殺器—Xgboost;

隨機森林與深度學習的結(jié)合；

1.決策樹模型及其原理；

2.Bias and Various tradeoff原理：評估模型性能的直觀解釋；

3.各種集成模型（Ensemble）：bagging, boosting和隨機森林等樹集成模型與他們的原理和實際應(yīng)用；

4.Kaggle與工業(yè)界的大殺器—Xgboost: 原理和實際應(yīng)用中的技巧（如何在比賽和實際項目中使用xgboost達到最好的效果）；

5.隨機森林與深度學習的結(jié)合：Deep Forest的原理，數(shù)學推導和實用性；

6.實戰(zhàn)：各種特征工程和分類器在真實案例中的應(yīng)用

第

一

天

下

午

多層神經(jīng)網(wǎng)絡(luò)（MLP）與深度學習??????

1.多層全連接神經(jīng)網(wǎng)絡(luò)：

? 多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與網(wǎng)絡(luò)表達；

? 向前傳播與反向傳播原理和數(shù)學推導；

? 激活函數(shù)使用方法與優(yōu)劣；

? 損失函數(shù)使用方法與優(yōu)劣；

?? 各種正則化原理使用方法與優(yōu)劣（L1，L2, dropout等）；

2. 深度學習與多層神經(jīng)網(wǎng)絡(luò)的關(guān)系；

直觀解釋和理論分析深度學習效果強勁的背后原理；

3. 實戰(zhàn)：用python手工來實現(xiàn)復雜的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

第

二

天

上

午

卷積神經(jīng)網(wǎng)絡(luò)（CNN）與計算機視覺（CV）

1.? 計算機視覺中的大殺器—卷積神經(jīng)網(wǎng)絡(luò)：

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；

卷積層的原理和計算推導；

池化層；

全連接層；

2. 最近幾年常用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（Letnet, Alexnet, Vgg, Googlenet, Resnet等）和核心數(shù)學公式推導;

3. 深度遷移學習（transferlearningindeeplearning）與多任務(wù)學習（multi-tasklearning）：

?? 深度遷移學習在計算機視覺中的基本概念和實際使用方法；

4. 實戰(zhàn)：用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)物體識別

第

二

天

下

午

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）與自然語言處理（NLP）

1、在計算機中詞向量的表達形式和word embedding;

2、從詞向量到wordembedding的方法——word2vec: skip-gram和CBOW的原理，數(shù)學推導和實際應(yīng)用；

3、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的結(jié)構(gòu)與原理：

? ?循環(huán)神經(jīng)網(wǎng)絡(luò)在不同應(yīng)用中的不同網(wǎng)絡(luò)結(jié)構(gòu)；

? ?LSTM和GRU的拓撲網(wǎng)絡(luò)結(jié)構(gòu)

? ?它們之間聯(lián)系與區(qū)別；

4、Sequence to Sequence模型的組成與優(yōu)缺點；

5、Attention-based模型的組成與數(shù)學推導；

6、實戰(zhàn)：用基于attention-based Seq2Seq實現(xiàn)機器翻譯；

第

三

天

上

午

深度學習在Google, Facebook, 百度，阿里等互聯(lián)網(wǎng)巨頭公司中的成功應(yīng)用——廣告點擊率預估（CTR預估）

1、什么是廣告點擊率預估，廣告點擊率預估的商業(yè)價值是什么;

?2、早期各大公司中廣告點擊率預估的機器學習模型的應(yīng)用和原理：

? ?LR, LR-FTRL; Factorization Machines; GBDT+LR;

3、最近兩年中，深度學習在這個領(lǐng)域的發(fā)展和實際應(yīng)用：

? ?l? Wide & Deep Learning;

? ?l? Deep Learning over Multi-field

? ?categorical data: FNN and SNN;

? ?l? Product-based Neural Networks: PNN;

? ?l? DeepFM;

? ?l? Neural Factorization Machine（NFM）

? ?l? Attentional Factorization Machine（AFM）

第

三

天

下

午

未來通用人工智能和最近熱門的發(fā)展方向—遷移學習（transferlearning），生成對抗網(wǎng)絡(luò)（GAN）和深度強化學習（Deep Reinforcement Learning）

1、遷移學習的基本概念和各種應(yīng)用場景；

2、四類遷移學習的方法；

3、最近的深度學習中的遷移學習：

? ?幾種常見的深度遷移學習的算法原理和核心數(shù)學公式推導；

4、生成模型與判別模型的區(qū)別與聯(lián)系

5、生成對抗網(wǎng)絡(luò)的基本原理和網(wǎng)絡(luò)結(jié)構(gòu)；

6、介紹深度強化學習；

?? 2016年轟動人類的人工智能—AlphaGo的原理和數(shù)學推導；

?? 100 vs 0擊敗AlphaGo的又一“魔鬼”：AlphaGo Zero的原理和改進之處；

第

三

天

自然語言處理中的機器學習

1.??? 詞嵌入模型 word embedding;

2.??? 高級詞向量表達技術(shù)：word2vec的兩個模型；

3.??? RNN網(wǎng)絡(luò)：從傳統(tǒng)RNN到LSTM, GRU和Bi-LSTM的原理理解與推導

4.??? 簡單理解Seq2Seq模型：Encoder-Decoder

5.??? 實踐:基于Seq2Seq的機器翻譯模型

第

三

天

高級自然語言處理技巧與

人工智能熱門技術(shù)

1.??? 重新認識Seq2Seq模型，

? ?基于Attention-based model;

2.??? 強化學習概述與應(yīng)用；

3.??? GAN技術(shù)的概述與應(yīng)用；

4.??? 人工智能技術(shù)在工業(yè)界的發(fā)展展望與討論

本提綱只是一個初始版本，為了課程需要，中間細節(jié)內(nèi)容可能略微調(diào)整。授課時預留一些時間給學員答疑解惑，每天的課程會留出來一些時間給學員做總結(jié)和答疑階段，為了學員能更好的學以致用，建議學員帶著自己實際項目或者之前學習過程中的問題去聽課，授課過程中積極與講師互動，來解決之前的困惑。