前言：

深度學(xué)習(xí)DL和人工智能AI成為當(dāng)下最炙手可熱的技術(shù)趨勢，將成為技術(shù)行業(yè)基礎(chǔ)設(shè)施的核心組成部分。深度學(xué)習(xí)訓(xùn)練需要大量的計算資源，GPU目前是深度學(xué)習(xí)最常使用的計算加速硬件。相對于CPU來說，GPU更便宜（達(dá)到同樣的計算能力GPU一般便宜10倍），而且計算更加密集（一臺服務(wù)器可以搭配1/2/4/8/16塊GPU），深度學(xué)習(xí)時代，訓(xùn)練過程，GPU為主CPU為輔。主流的深度學(xué)習(xí)評測benchmark，都聚焦用GPU來做測試，用CPU對比已經(jīng)沒有太大意義。

GPU的價值不止體現(xiàn)在深度學(xué)習(xí)，在高性能計算、物聯(lián)網(wǎng)、人工智能、生物信息、分子模擬、計算化學(xué)、材料力學(xué)、系統(tǒng)仿真、流體力學(xué)、機械設(shè)計、生物制藥、航空動力、地質(zhì)勘探、氣候模擬等領(lǐng)域，算法越來越復(fù)雜，需要處理的海量數(shù)據(jù)越來越巨大，高性能計算能力就顯得神秘嘉賓重要。GPU 高性能計算程序設(shè)計最大限度的利用硬件資源，提高了計算能力，降低時間成本，加速研發(fā)進度。

深度學(xué)習(xí)網(wǎng)絡(luò)的計算里，最關(guān)鍵的是兩種計算：如果是一個全連接層，它的計算主要是矩陣乘法；如果你是卷積層，核心計算是卷積計算。主流的深度卷積網(wǎng)絡(luò)里，超過80%的計算源于卷積計算，一般的深度網(wǎng)絡(luò)在最后一兩層才用到全連接層，所以這個卷積操作其實是深度學(xué)習(xí)里最關(guān)鍵的核心技術(shù)。

我們針對深度學(xué)習(xí)的計算，有一套完整的解決方案，cuDNN已經(jīng)成為主流深度學(xué)習(xí)框架調(diào)用的深度學(xué)習(xí)GPU函數(shù)庫，包含完整的矩陣乘法和卷積計算的實現(xiàn)，但并不開源。

想搞清楚如何優(yōu)化矩陣乘法和卷積嗎？如何用CPU+GPU加速你的程序？學(xué)完本次課程，你會找到答案。

關(guān)鍵字：

AI(Artificial Intelligence，人工智能)

DL（Deep Learning，深度學(xué)習(xí)）

ML（Machine Learning，機器學(xué)習(xí)）

高性能計算（High Performance Computing, HPC）

并行計算（Parallel Computing）

超級計算（supercomputing）

E級計算（Exascale computing）

異構(gòu)計算（Heterogeneous computing）

GPU通用計算（GPGPU，General Purpose GPU，CUDA，OpenCL，OpenACC）

并行計算基礎(chǔ)（MPI，OpenMP，Pthread）

加速卡（CPU，GPU，APU，F(xiàn)PGA，MIC）

專業(yè)要求：

Linux/vim常用命令

能寫簡單的C/C++

基本的計算機基礎(chǔ)和數(shù)學(xué)基礎(chǔ)

8:30--11:30                                

高性能計算基礎(chǔ)          

1、并行計算的應(yīng)用場景和實際意義（戰(zhàn)略、經(jīng)濟和成本）；

2、并行計算機體系結(jié)構(gòu)：處理器、內(nèi)存和互連網(wǎng)，常用的并行計算機系統(tǒng)；

3、性能分析模型：如何測量并行性能和擴展性；

4、CPU/GPU體系結(jié)構(gòu)對比介紹；

13:30--17:00                              

MPI編程入門 

1、 MPI編程基本概念；

2、 基本編程語句； 

3、 主要點到點通信函數(shù)；

4、 上機實驗hello world； 

MPI編程進階

1、 自定義新的數(shù)據(jù)類型；

2、 集合通信方法；

3、 通信域和虛擬拓?fù)?；

4、 上機實驗：計算圓周率；

 老師及學(xué)生需持證參會

優(yōu)惠二：買5贈1，同一單位5人及以上原價參加，可贈送一個名額（與優(yōu)惠一只可選其一）