?OpenMP編程

1、OpenMP基礎(chǔ)：概念介紹、環(huán)境搭建、基本用法、編程模型、性能分析

2、OpenMP線程操作：線程同步、數(shù)據(jù)同步、多線程并發(fā)、并行循環(huán)計(jì)算詳解

3、OpenMP任務(wù)和數(shù)據(jù)處理：數(shù)據(jù)共享模式、作用范圍制導(dǎo)語(yǔ)句、task指令的使用?

4、深入了解OpenMP的內(nèi)存模型和硬件基礎(chǔ)

??

OpenMP上機(jī)實(shí)踐：

1、Hello_world、基本指令的使用、積分法計(jì)算PI

2、各種OpenMP指令實(shí)現(xiàn)并優(yōu)化計(jì)算圓周率

3、section、task的使用、曼德博集合面積的計(jì)算、斐波那契數(shù)列

4、挑戰(zhàn)題：利用蒙特卡洛算法計(jì)算PI、鄰接列表的并行處理

?

并行計(jì)算與編程基礎(chǔ)

1、并行機(jī)體系機(jī)構(gòu)與編程模型概述

①?共享存儲(chǔ)結(jié)構(gòu)

②?共享地址空間

③?消息傳遞

?④?數(shù)據(jù)并行

⑤?SMP與GPU集群

2、并行計(jì)算的模型與分析

①?并行執(zhí)行時(shí)間評(píng)估模型

②?并行算法的效率特性

③?并行計(jì)算拓展性分析

3、?MPI并行編程一

①?MPI基本概念與定義?

②?MPI運(yùn)行環(huán)境

③?MPI基礎(chǔ)：MPI程序初始化與終止、進(jìn)程設(shè)置與獲取、消息發(fā)送與接

④?進(jìn)程間的通訊：通訊模式、阻塞與非阻塞通訊?

⑤?上機(jī)實(shí)踐

?4、?MPI并行編程二

①?集合通信：數(shù)據(jù)廣播、歸約、分發(fā)、搜集、all to all?通訊、歸約操作

?②?MPI派生數(shù)據(jù)類型

③?上機(jī)實(shí)踐

5、??MPI并行編程三

①?進(jìn)程組與通信子

②?虛擬拓?fù)洌旱芽柾負(fù)洌瑘D拓?fù)?/p>

③?上機(jī)實(shí)踐

6、混合并行編程：MPI+OpenMP

①?多線程編程與openMP概述

②?openMP指令介紹

③?上機(jī)實(shí)踐

?

?

?GPU高性能計(jì)算

OpenACC編程基礎(chǔ)與優(yōu)化進(jìn)階

?1、?OpenACC基礎(chǔ)：概念，與CUDA區(qū)別，編譯器，生態(tài)；

2、?OpenACC開(kāi)發(fā)環(huán)境搭建配置；

3、?OpenACC四步開(kāi)發(fā)流程：判斷并行性，并行化表達(dá)，顯式數(shù)據(jù)傳遞，優(yōu)化

3.1判斷并行性：Profile工具pgprof；

3.2并行化表達(dá)：引導(dǎo)關(guān)鍵字Kernerls和Parallel Loop；

3.3顯式管理數(shù)據(jù)的拷貝：引導(dǎo)關(guān)鍵字Data；?

3.4優(yōu)化：統(tǒng)一內(nèi)存管理，線程并行層級(jí)，collapse，tile

?

OpenACC上機(jī)實(shí)操：

1. ? Hellow world；

?2．矢量點(diǎn)乘；

?

GPU高性能計(jì)算

?CUDA編程基礎(chǔ)與優(yōu)化進(jìn)階?

1、?CUDA基礎(chǔ)：API、數(shù)據(jù)并行、線程模型、存儲(chǔ)模型、控制、同步、并發(fā)和通信、加速比；

2、?CUDA開(kāi)發(fā)環(huán)境搭建和工具配置；

?3、?CUDA優(yōu)化進(jìn)階：線程組織調(diào)度，分支語(yǔ)句，訪存優(yōu)化，數(shù)據(jù)傳輸，原子操作；

?4、?GPU并行計(jì)算模式及案例分析：分析調(diào)試：parallel nsight，visual profiler，cuda-gdb；?

5、?CUDA生態(tài)系統(tǒng)和相關(guān)專業(yè)領(lǐng)域軟件介紹；

?

CUDA上機(jī)實(shí)操：

1、?Helloworld，向量加，cuda庫(kù)的使用（cuBLAS、cuFFT?）；

2、 矩陣乘，直方圖，卷積，規(guī)約；?

?

?

大規(guī)模并行開(kāi)發(fā)：多GPU開(kāi)發(fā)

1、?GPU異步編程，多GPU編程（混合OpenMP和MPI）及調(diào)試調(diào)優(yōu)工具；

2、?OpenACC互操作性：OpenMP，MPI，CUDA；

?

?OpenACC上機(jī)實(shí)操：

1、?Jacobi迭代

?

GPU高性能計(jì)算-深度學(xué)習(xí)

1、 深度學(xué)習(xí)GPU解決方案：

1.1基于GPU的交互式深度學(xué)習(xí)訓(xùn)練平臺(tái)：DIGITS；

1.2深度學(xué)習(xí)框架的GPU加速：TensorFlow，Caffe等；

1.3 NVIDIA深度學(xué)習(xí)SDK：cuDNN，TensorRT，NCCL；

1.4深度學(xué)習(xí)顯卡選擇；

?

?深度學(xué)習(xí)上機(jī)實(shí)操：

?1、使用DIGITS進(jìn)行圖像分類；

2、Caffe，TensorFlow，Theano等通用深度學(xué)習(xí)框架的GPU加速庫(kù)cuDNN的使用；

3、深度學(xué)習(xí)前端推理引擎TensorRT的使用；

4、單機(jī)多卡的深度學(xué)習(xí)解決方案NCCL實(shí)驗(yàn)；

?

?

?GPU技術(shù)前沿

1、?CUDA 10新特性

2、?Pascal，Volta，Turing顯卡新架構(gòu)