超限學(xué)習(xí)機(jī)（ELM）

　2006 年，Huang 等人 [61] 提出超限學(xué)習(xí)機(jī)（ELM）。它是為了解決傳統(tǒng)學(xué)習(xí)算法所包含的缺點(diǎn)，例如訓(xùn)練時(shí)間較長(zhǎng)、容易受到噪聲干擾與陷入局部最優(yōu)解、參數(shù)選擇較為敏感等等，才被提出來(lái)的單隱藏層前饋神經(jīng)網(wǎng)絡(luò)，具有優(yōu)異的學(xué)習(xí)準(zhǔn)確性和速度 [46] 。超限學(xué)習(xí)機(jī)不需要迭代地調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)值和隱藏層節(jié)點(diǎn)偏置，而是通過(guò)直接學(xué)習(xí)使用最小二乘法就能夠得到。在基本訓(xùn)練的步驟中缺少了迭代后，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度明顯變快，陷入過(guò)擬合的概率同樣減小。

　假設(shè)有 N 個(gè)訓(xùn)練數(shù)據(jù) [x t ] ,i i， ?1,2, , i N ，其中 ? ?1 2[ , , , ]

　 T ni i i inx x x x R是樣本， ? ?1 2[ , , , ] Tmi i i imt t t t R 為樣本jx 的期望輸出向量， n 和 m 代表對(duì)應(yīng)的輸入和輸出的維數(shù)。對(duì)于 N 個(gè)訓(xùn)練數(shù)據(jù)， l 個(gè)隱藏層節(jié)點(diǎn)來(lái)說(shuō)， ? l N ， ( ) g x 是激活函數(shù)，常規(guī)的一般為 Sigmoid 型，由此得到超限學(xué)習(xí)機(jī)神經(jīng)網(wǎng)絡(luò)輸出數(shù)學(xué)模型如式（4.1）：

　?? ? ??1( ) ,

　 1,2, ,li i j i jiβ g b j N a x t

　（4.1）

　其中， ?1 2[ , , , ] Ti i i ina a a a 表示輸入層節(jié)點(diǎn)與第 i 個(gè)隱藏層節(jié)點(diǎn)之間的輸入權(quán)值， ?1 2[ , , , ] Ti i i imβ β β β 為輸出權(quán)值，ib 為隱藏層偏置。

　式（4.1）可以簡(jiǎn)化為， β ? H T

　（4.2）

　其中式（4.2）中，隱藏層輸出矩陣為 H 表示，輸出權(quán)值矩陣（隱藏層與輸出層間）為 β 表示，期望輸出矩陣為 T 表示 [62] 。

　1 1 1 11 1( ) ( )( , , )( ) ( )l li i jN l N lN lg b g bbg b g b?? ? ? ?? ??? ?? ?? ?? ?a x a xH a xa x a x

�。�4.3）

　1TTll mβββ?? ?? ??? ?? ?? ?

　 1NN m ?? ?? ??? ?? ?? ?TTtTt

　 （4.4）

　當(dāng)滿足 = l N 時(shí)，即訓(xùn)練樣本個(gè)數(shù)和隱藏層節(jié)點(diǎn)個(gè)數(shù)相同時(shí)，那么由式（4.2）可以直接求出矩陣 H 的逆矩陣如式（4.4）所示，它與輸出的節(jié)點(diǎn)個(gè)數(shù)無(wú)關(guān) [63] ，輸出權(quán)值矩陣 β 的最優(yōu)解由此也可計(jì)算得出。但在一般情況下 ? l N ，即隱藏層節(jié)點(diǎn)個(gè)數(shù)是遠(yuǎn)小于訓(xùn)練樣本個(gè)數(shù)，這時(shí)矩陣 H 是奇異矩陣，需要利用最小二乘方法對(duì)式（4.2）進(jìn)行求解：

　? β†H T

　（4.5）

　其中，†H 為隱藏層輸出矩陣的 Moore-Penrose 廣義逆。

相關(guān)熱詞搜索：超限 學(xué)習(xí)機(jī)