一、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的概念、基本技術(shù)方法、大規(guī)模深度學(xué)習(xí)基本框架與開發(fā)過程以及實(shí)踐

（第一天上午和下午進(jìn)行課程內(nèi)容教學(xué)，兩個小時的開發(fā)工具應(yīng)用實(shí)踐，全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)和手寫字識別，模擬分類器實(shí)現(xiàn)）

1.?人工智能概述、計算智能、類腦智能、深度學(xué)習(xí)的前生今世、發(fā)展趨勢

2.?機(jī)器學(xué)習(xí)和深度學(xué)習(xí)概述、基本過程和方法，包括深度學(xué)習(xí)的三要素、模型設(shè)計、訓(xùn)練方法；深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的聯(lián)系、深度學(xué)習(xí)產(chǎn)生優(yōu)勢的原因、深度學(xué)習(xí)解決問題的強(qiáng)勢和弱勢。

3.?深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)包括深度神經(jīng)網(wǎng)絡(luò)的高維復(fù)雜函數(shù)近似、流形推斷、泛化的基本原理

4.?人工神經(jīng)網(wǎng)絡(luò)和基本訓(xùn)練方法（訓(xùn)練目標(biāo)和訓(xùn)練BP 算法）?

5.?實(shí)踐：Tensorflow框架的開發(fā)模式、開發(fā)案例

6.?深度神經(jīng)網(wǎng)絡(luò)開發(fā)的基本過程、訓(xùn)練和問題解決技巧

7.?基本神經(jīng)網(wǎng)絡(luò)開發(fā)實(shí)踐

二、深度學(xué)習(xí)的基本模型設(shè)計、訓(xùn)練方法和應(yīng)用問題決

（第二天上午和下午理論教學(xué)，下午兩個小時實(shí)踐，內(nèi)容包括基本的卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)開發(fā)，解決復(fù)雜結(jié)構(gòu)的表示學(xué)習(xí)）

1.?CNN 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計思想、設(shè)計和應(yīng)用開發(fā)與上機(jī)實(shí)習(xí)（卷積層（一維卷積、二維卷積）、池化層（均值池化、最大池化）全連接層、激活函數(shù)層、Softmax 層）

2.?神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本技巧和問題解決方法

3.?卷積神經(jīng)網(wǎng)絡(luò)的變化、思想和應(yīng)用實(shí)例（殘差網(wǎng)絡(luò)、R-CNN、SPPNET、Fast-R-CNN、Faster-R-CNN、Mask-R-CNN、YOLOv1-v3）

4.?RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)改進(jìn)的思想和LSTM、GRU、Bi-RNN、Attention based RNN

5.?RNN、LSTM 實(shí)際應(yīng)用：自然語言處理、Seq2Seq 、跨模態(tài)應(yīng)用（Caption/無導(dǎo)師翻譯/無導(dǎo)師生成）

6.?殘差神經(jīng)網(wǎng)絡(luò)、非局部神經(jīng)網(wǎng)絡(luò)以及它們的應(yīng)用，特別在自然語言處理和圖數(shù)據(jù)處理方面的應(yīng)用。

7.?對象識別、機(jī)器翻譯、看圖說話、以文成圖、推薦/信息檢索、信號處理的基本技術(shù)方法

三、深度學(xué)習(xí)模式和基本技術(shù)：弱導(dǎo)師學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、無導(dǎo)師學(xué)習(xí)、遷移學(xué)習(xí)

（第三天上午理論教學(xué)）

1.?深度學(xué)習(xí)的基本模式、似然估計和非似然估計、指數(shù)復(fù)雜度/下界和后驗(yàn)推理/重參數(shù)

2.?最大似然估計技術(shù)體系：弱導(dǎo)師學(xué)習(xí)、遠(yuǎn)程學(xué)習(xí)Autoencoder、VAE、GAN+VAE

3.?非似然技術(shù)體系：對抗生成模型GAN 的理論知識、INFOGAN、f-GAN、WGAN、Conditioned-GAN的基本原理與應(yīng)用

4.?遷移學(xué)習(xí)的理論概述、遷移學(xué)習(xí)常見方法舉例

5.?強(qiáng)化學(xué)習(xí)的基本原理和實(shí)踐：動態(tài)規(guī)劃、TD和MC算法

6.?深度強(qiáng)化的基本思想、策略遞度、價值近似的建模和訓(xùn)練方法以及各種改進(jìn)技術(shù)的詳細(xì)解析

四、深度學(xué)習(xí)的大數(shù)據(jù)處理技術(shù)

（第三天下午一個小時理論教學(xué)，兩個小時的實(shí)踐內(nèi)容包括：模型可視化分析和調(diào)試、對抗神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)和結(jié)果可視化）

1.?多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)分析技術(shù)

2.?深度社交網(wǎng)絡(luò)分析

3.?多模態(tài)深度推薦/信息檢索技術(shù)

4.?深度模型調(diào)試案例解析（訓(xùn)練目標(biāo)設(shè)計、不穩(wěn)定、超參數(shù)設(shè)計自動化、元學(xué)習(xí)）