在機器學習和KDD領域,事物的屬性和屬性取值反映了事物的本質和度量，為了描述一致，統稱為模式特征。在傳統文獻中，模式特征一般分為物理特征、結構特征和數學特征^[1～2]。物理特征和結構特征容易被人類感官所接受，便于直接識別對象。在人工智能領域，物理特征和結構特征以數學特征的形式表現出來，特征提取" title="特征提取">特征提取主要指特征數據的處理方法和過程。廣義上的特征提取按屬性數據的處理方式分為特征直接提取和間接提取，又稱為特征選擇和特征變換。
　　(1)直接提取(特征選擇)：設原始特征集合為U_n={A₁,A₂,…，A_n},直接提取即從U_n中挑選出有利于分類的特征子集：
　　其中，d＜n,U_dU_n，特征空間的維數得到了壓縮。
　　(2)間接提取(特征變換)：通過映射或變換的方法，把高維空間U_n的高維特征轉化為低維空間U_d的低維特征： T_e:U_nd
　　其中，d≤n，在特征空間變換過程中，特征維數得到了壓縮，但是壓縮的前提是保證樣本的分類性質保持不變。T_e可以采用線性或者非線性變換模型。
　　特征選擇的主要算法包括枚舉法、分支定界搜索法、逐個特征比較法等啟發式方法^[3]。在實際運算時，啟發式算法" title="啟發式算法">啟發式算法無論采用深度優先或者廣度優先，過程控制都非常復雜，且對噪音的處理非常不方便。從本質上講，任何啟發式算法都是一種局部尋優方法，所獲得的解通常不是最優解，同時難于發現多個最優解或滿意解^[4～5]。另外，啟發式算法的求解結果對噪音比較敏感，影響了特征子集的魯棒性和適應性。
　　在概念學習或者更為廣泛的模式識別領域，特征提取是一個非常復雜的問題，所表示的模型求解基本上是NP類問題^[6～7]，一般需要綜合考慮分類錯誤、特征簡單性和計算時間資源等因素。
　　傳統的特征提取方法通常采用線性變換,使得判別準則函數最大或者最小(熵函數和類內類間距離函數是經常采用的兩個準則函數,^[1]),即
　　Y=A*X
　　其中,A*為d×n維的變換矩陣,將n維特征的原始樣本空間X變換為d維特征的樣本空間。這就是傳統特征提取的統計與代數方法。在這兩種方法中存在著強烈的統計假設和矩陣非奇異假設，而在實際環境中，這些要求很難得到滿足。對于大規模的實際問題，通常采用專家干預的方法進行調整，使得計算過程變得非常繁瑣，導致這兩類方法的實用性受到很大的限制。尤其是面對非線性可分的樣本空間時，傳統的統計與代數方法顯得更加無能為力，難以實現分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法，例如基于K-L展開式的KLT方法^[1]、神經網絡方法^[8]、小波分析^[9]等。KLT是最小均方誤差準則下的最佳K-L變換方法，不受樣本分布性質的限制，但是不存在快速算法，計算量是維數的指數函數，當維數比較高時，計算量難以承受。在實際中經常采用傅立葉變換(DFT)或者離散沃爾什變換(DWT)等代替。這些變換均存在相應的快速算法，但僅能得到次優的結果。小波分析與KLT方法具有相同的特點，也存在類似的問題。
　　模式分類是神經網絡的一個重要應用領域，在輸入存在或數據不完整的情況下，神經網絡也具有良好的分類能力^[10～12],特別是三層以上結構的多層感知器系統的神經網絡模型" title="網絡模型">網絡模型可以靈活地處理非線性可分問題。但是神經網絡模型的求解算法不僅效率低，而且容易陷入局部極值點。基于此，本文將神經網絡的表示能力與ＧＡ的全局求解能力結合，用于非線性特征提取問題。
1 基于GA和神經網絡的非線性特征變換算法
1.1 神經網絡結構設置
　　根據神經網絡理論，三層感知器可以形成任意復雜的決策區域^[8，11],對于特征提取來講，將第三層作為特征輸出層，并要求輸出二進制類型數據作為特征數據。網絡模型為：隱層節點的激勵函數選擇連續型Sigmoid函數f(x)=，輸出層節點的激勵函數選擇f(yk)=sgn()，(k=1,2…,d),輸出{-1,1},向量轉化為{0,1}作為新的特征向量。
1.2 GA方案安排
　　把GA應用于實際問題時，首先需要解決編碼和適應度函數的設計，然后是三個進化算子(選擇、交叉和變異算子)的設計，當然還有初始條件和收斂條件的設置，運行GA以求得問題的準最優解。本文的遺傳算法" title="遺傳算法">遺傳算法應用方案設計主要為以下步驟：
　　(1)編碼
　　在遺傳算法理論中有兩種主要的編碼方式：二進制編碼和實數編碼。二進制編碼進化的層次是基因，浮點數進化的層次是個體。大量的實驗結果表明：對同一優化問題二進制編碼和實數編碼GA不存在明顯的性能差異。本文采用二進制編碼。
　　基于二進制的染色體位串由五部分組成：隱層節點數s₁:a₁a₂…a_(2n+1)；輸入節點到隱層節點的連接權重編碼s₂:b₁₁b₁₂…b_1nb₂₁b₂₂…b_2n…b_(2n+1)|b_(2n+1)2…b_(2n+1)n；隱層節點到輸出節點的連接權重編碼s₃:c₁₁c₁₂…c_1(2n+1)c₂₁c₂₂…c_2(2n+1)…c_d1c_d2…c_d(2n+1)；隱層節點激勵函數的閾值編碼s₄:d₁d₂…d_(2n+1)；輸出函數的閾值編碼s₅:e₁e₂…e_d。
　　將上述五個部分連接在一起就構成了整個模型的編碼。其中連接權重和閾值編碼限定范圍是[－1，1]。
　　(2)適應值函數
　　遺傳算法在搜索進化過程中一般不需要其他的外部信息，僅用適應度來評價個體的優劣，并以此作為遺傳操作的依據。設計一個好的適應度函數對于遺傳算法的執行效率和結果有著至關重要的影響，本文以熵函數(見式(1))為基礎，并考慮網絡結構的簡單性，構造出本算法的適應值函數(式(2))。
　　

?

　　
　　其中α、β為熵函數值與神經網絡結構之間的平衡系數，第二項要求網絡中隱層節點數越少越好，第三項要求網絡中連接數越少越好，以提高網絡的穩定性。
　　(3) 選擇
　　采用適應度比例方法，并保留每一代的最佳個體。
　　(4) 交叉
　　交叉互換能產生不同于母體的后代，交叉的概率越高，群體中新結構引入越快；如果交叉概率太低，收斂速度可能降低，導致搜索阻滯。在此，采用雙點交叉，交叉概率設置為0.6。
　　(5) 變異
　　變異操作是保持群體多樣性的有效手段。變異概率太小，可能是某些基因位過早丟失的信息無法恢復；變異概率過高，遺傳搜索將變成隨機搜索。在此，采用基本變異算子，變異概率設置為0.001。
　　(6) 種群規模
　　若種群規模過大，則適應度評估次數增加，計算量增大；種群規模過小，可能會引起未成熟收斂現象。因此種群規模的設置應該合理。在此，種群規模取為6000，最大繁殖代數(進化代數)設置為500。
　　(7) 終止準則
　　任何算法設計的最后一步都要分析其收斂條件。在本文中算法執行滿足下列條件之一時，算法終止：
　　·最大的適應度值在連續四代之內變化小于0.001,算法終止。
　　·上述條件不滿足時，算法執行到最大進化代數時自動終止。
　　保證算法收斂的策略：采用杰出人才保持模型，即用每一代內的最優個體替代下一代內的最差個體，從而使得算法完全收斂。
1.3 算法描述
　　網絡參數設置：輸入節點數n1=22,隱層節點數n2=45,輸出節點數d=13,輸入節點到隱層節點的連接數900,隱層節點到輸出節點的連接數580。
　　GA參數設置：位串長度Ｌ=12705,群體規模ｎ=6000，交叉概率pc=0.6,變異概率pm=0.001,進化代數為500，每個實數參數的二進制編碼長度設為8。
　　算法主要流程：
　　(1) 初始化：設置群體規模N=6000,進化代數G=500，交叉概率P_c=0.6和變異概率P_m=0.001，染色體長度chromlength=12705，隨機產生初始種群;
　　(2) 令G=1,進入循環;
　　(3) 對30個個體進行解碼，代入神經網絡模型，根據適應值函數(見式(2))計算個體的適應度;
　　(4) 進行遺傳操作：精英選擇、雙點交叉、基本變異；
　　(5) G=G+1,判斷是否滿足終止準則；
　　(6) 不滿足，轉到第(3)步；滿足，進化(循環)終止,輸出最佳個體。
2 應用實例
　　將上述方法應用到一水輪發電機的仿真機上進行實踐。對原始數據表中的屬性進行特征抽取和變換,原始數據表(含12個屬性和3000行對應的屬性值)數據量很大, 由于篇幅有限不予列出^[13], 屬性及其值域的表格如表1所示。

　　采用文中提出的方法提取的特征結果形式如表2所示，其中提取的特征屬性為溫度t、電流ｉ和電壓ｕ，對應的屬性值為概括后的特征值(假設ｔ表示發電機的線圈溫度，i表示其定子電流，u表示定子電壓，s表示其工作狀態)，t、i、u對應的1表示正常，0表示異常；ｓ對應的1表示正常狀態；2可表示異常狀態。為了測試本文算法，將其與傳統的貝葉斯方法進行比較，如表3、表4所示。
　　從上表實驗數據可以看出，經過GA與神經網絡的結合，二者的優越性都得以發揮，學習誤差和預測誤差都有所下降，且運行時間減少；分類精度要高于傳統的貝葉斯統計方法20%左右,且學習誤差和預測誤差降低了將近50%。通過對比,可以看出GA-NN相結合進行的特征變換達到一般特征提取的精度要求，在相同的評價體系下，本文提出的算法是有效且可信的。

　　神經網絡用于特征提取是一個規模非常龐大的優化問題，系統結構中含有大量的冗余節點和連接，獲得可行解的速度比較快，但是尋找最優解需要長時間的進化和訓練。為此采用了神經網絡與遺傳算法相結合的混合算法進行特征提取，通過實驗驗證，效果較好。但是存在的不足是隨著特征數量和實例樣本量的增加，神經網絡的GA求解的計算量將成指數增加，需要采用大型計算機或超級并行計算機。這對于其推廣應用是一個嚴峻的挑戰。
參考文獻
1 傅京孫. 模式識別及其應用. 北京：科學出版社，1983
2 沈 清，湯 霖.模式識別導論.長沙：國防科技出版社，1991
3 李金宗.模式識別導論.北京：高等教育出版社，1996:127
4 陳 彬，洪家榮，王亞東.最優特征子集選擇問題.計算機學報，1997；20(2):133～138
5 錢國良，舒文豪，陳 彬.基于信息熵的特征子集選擇啟發式算法的研究.軟件學,1998；9(12):911～916
6 Michalski,R.S., Teluci,G.Machine learning：a multi-strategy approach. San Francicso. CA:Morgan Kaufmann,1994；4
7 Jia rong. H.Inductive learning:algorithm,theory,application.Beijing: Science Publishing House of China,1997
8 鐘義信，潘新安，楊義先.智能理論與技術-人工智能與神經網絡.北京:人民郵電出版社，1992
9 Fionn Murtagh,Wedding the wavelet transformation and multivariate data analysis Journal of Classification,1998;(15):161～183
10 Brill,F.Z. Fast genetic selection of feature for neural network classififier.IEEE Transactions on Neural Networks,1992；3(2):324～328
11 Ripley,B.Pattern recognition and neural networks.New York:Cambridge Press,1996
12 Rudy Setiono,and Huan Liu.Neural Networks feature selector.Department of Information systems and Computer Science.National University of Singapore,1996
13 Zhang D G,Zhao H.Fuzzy-neural theory applied to electric fault fusion in monitoring system of hydropower plant[A].The 4th Information Fusion International Conference [C].Montreal:CM Press,2001.10