-
由中國電子學(xué)會主辦的2017全國深度學(xué)習(xí)技術(shù)應(yīng)用大會于2017-03-24在北航新主樓會議中心舉辦。
王長虎認(rèn)為我們系統(tǒng)地研究如何把一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)變化成為一個新的網(wǎng)絡(luò),并且保持原有神經(jīng)網(wǎng)絡(luò)的功能完全不變。我們將該過程定義為網(wǎng)絡(luò)變形。在父網(wǎng)絡(luò)變形之后,我們期望得到的子網(wǎng)絡(luò)能夠完整繼承父網(wǎng)絡(luò)的知識,同時在更短的時間里繼續(xù)增長為一個更強大的網(wǎng)絡(luò)。這種網(wǎng)絡(luò)變形的第一個要求是它能夠處理各種網(wǎng)絡(luò)變化的能力,包括深度的變化,寬度的變化,內(nèi)核大小的變化,甚至是整個子網(wǎng)絡(luò)的變化。為了滿足這個要求,我們首先引入網(wǎng)絡(luò)變形方程,然后為所有這些變化類型提出了變形算法。這些變形算法對于經(jīng)典神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)都適用。網(wǎng)絡(luò)變形的第二個要求是它能夠處理神經(jīng)網(wǎng)絡(luò)中非線性的能力。為此,我們提出了參數(shù)激活函數(shù)族的概念,以幫助任何非線性連續(xù)激活神經(jīng)元函數(shù)的變形
王長虎出席會議日程
由中國電子學(xué)會主辦的2017全國深度學(xué)習(xí)技術(shù)應(yīng)用大會于2017-03-24在北航新主樓會議中心舉辦。