基于 PCA 降維模型的造紙廢水處理過程軟測量建模

劉鴻斌^{1，2，3，*} 李祥宇¹ 楊 沖¹

( 1. 南京林業(yè)大學江蘇省制漿造紙科學與技術(shù)重點實驗室，江蘇南京，210037;2. 華南理工大學制漿造紙工程國家重點實驗室，廣東廣州，510640;3. 南京林業(yè)大學林業(yè)資源高效加工利用協(xié)同創(chuàng)新中心，江蘇南京，210037)

摘 要: 針對造紙廢水處理過程的復雜特性，本課題將主成分分析 ( PCA) 與人工神經(jīng)網(wǎng)絡 ( ANN) 和支持向量回歸 ( SVR) 相結(jié)合，構(gòu)建出兩種新的軟測量模型: 主成分分析-人工神經(jīng)網(wǎng)絡 ( PCA-ANN) 和主成分分析-支持向量回歸 ( PCA-SVR) 。本課題將這兩種軟測量模型應用于造紙廢水處理過程中出水化學需氧量 ( COD) 和出水懸浮固形物 ( SS) 濃度的預測。計算結(jié)果表明，PCA-ANN 和 PCA-SVR 的預測效果均優(yōu)于偏最小二乘、支持向量回歸和人工神經(jīng)網(wǎng)絡 3 種常規(guī)軟測量模型，并且 PCA-ANN 的預測效果最優(yōu)。對于出水 COD 濃度預測，PCA-ANN 的決定系數(shù) ( R² ) 為 0.984，均方誤差 ( MSE) 為 1.892，較 ANN 分別優(yōu)化了 9.7% 和 71.5% 。對于出水 SS 濃度預測，PCA-ANN 的 R² 為0.762，MSE 為 0.228，較 ANN 分別優(yōu)化了 31.2% 和 58.7% 。

關鍵詞: 造紙廢水處理; 主成分分析; 支持向量回歸; 人工神經(jīng)網(wǎng)絡; 偏最小二乘; 軟測量

中圖分類號: X793 文獻標識碼: A DOI: 10. 11981 / j. issn. 1000-6842. 2018. 04. 50

在造紙廢水處理過程中，由于一些工業(yè)參數(shù)的在線測量傳感器缺乏^[1]以及造紙廢水處理過程的非線性、時變性、不確定性、復雜性和滯后性等特點，導致某些與出水水質(zhì)指標相關的關鍵參數(shù)無法實現(xiàn)在線測量，這直接影響到廢水處理過程的實時控制和優(yōu)化操作^[2]。在造紙廢水處理過程中，通過建立出水水質(zhì)的關鍵變量與進水水質(zhì)關鍵變量之間的關系，從而得到出水水質(zhì)關鍵參數(shù)的軟測量模型，可以更好地對廢水處理過程進行控制。

軟測量常規(guī)的建模方法有機理建模法、回歸分析法、支持向量機法和神經(jīng)網(wǎng)絡法等^[3]。偏最小二乘( Partial Least Squares，PLS) 算法是一種新型的多統(tǒng)計回歸分析算法，該方法易受過程非線性特性和系統(tǒng)外部干擾等因素的影響而失效。針對這些問題，楊浩等^[4] 研究了遞歸偏最小二乘 ( Recursive PartialLeast Squares，RPLS) 算法的造紙廢水處理過程軟測量建模。支持向量機是基于結(jié)構(gòu)最小化原則的人工智能技術(shù)，支持向量回歸 ( Support Vector Regression，SVR) 是支持向量機在回歸預測方面的一種算法，該算法可以克服回歸分析方法不適用于非線性過程問題。徐方舟等^[5] 通過 SVR 方法實現(xiàn)對化學需氧量( COD) 質(zhì)量濃度的預測。水質(zhì)預測模型需要多種水質(zhì)指標作為輸入變量，但變量過多會造成一定的信息重疊，使模型的預測效果變差。吳慧英等^[6]在構(gòu)建SVR 模型對池塘溶解氧預測時利用了理論較為完善的主成分分析 ( Principal Component Analysis，PCA)方法對輸入變量進行降維處理，這種將 PCA 和 SVR相結(jié)合的模型得到了很高的預測精度。劉博等^[3]利用 PCA 和最小二乘支持向量回歸 ( Least Square Support Vector Regression，LSSVR) 相結(jié)合的模型對厭氧消化過程中的揮發(fā)性脂肪酸進行預測，該模型也具有較好的預測能力。人工神經(jīng)網(wǎng)絡( Artificial NeuralNetwork，ANN) 是通過模仿人類大腦神經(jīng)處理信息方式從而形成的一種智能算法[7]，該方法的優(yōu)點在于其擁有自學習、自適應和自處理功能，其缺點在于泛化能力不足。將 ANN 和其他方法相結(jié)合的軟測量建模方法可以克服單獨使用 ANN 方法的局限性。Lee 等^[8]通過多統(tǒng)計過程控制和基于虛擬傳感器的神經(jīng)網(wǎng)絡技術(shù)相結(jié)合的方法開發(fā)了污水處理廠遠程控制系統(tǒng)。

針對造紙廢水處理過程的特點，筆者構(gòu)建主成分分析-支 持 向 量 回 歸 ( Principal Component AnalysisSupport Vector Regression，PCA-SVR) 和主成分分析-人工神經(jīng)網(wǎng)絡 ( Principal Component Analysis-Artificial Neural Network， PCA-ANN ) 對出水化學需 氧 量( COD) 和出水懸浮固形物 ( SS) 濃度進行預測，并與 PLS、SVR、ANN 模型進行對比。

1 方法原理

1. 1 PLS 建模原理

對于 p 個因變量 y^₁，…，y^_p 與 q 個自變量 x^₁，…，x^_q 的建模問題，偏最小二乘法的基本做法是首先在自變量中提出第一主成分 t^₁ ( t^₁ 是 x^₁，…，x^_q 的線性組合) ，同時在因變量中也提取第一主成分 u^₁，并要求 t^₁ 和 u^₁ 的相關程度達到最大，然后建立 y^₁，…，y^_p 與 t^₁ 的回歸，如果回歸方程達到滿意的精度，則算法中止，否則接著第二成分提取，直到能達到滿意精度，最終確定主成分的個數(shù) k^[9]。該方法將 X 和 Y矩陣分解為式( 1) 和式( 2) 。

 

式中，t^_i、u_i 是得分向量，包含著不同樣本之間的信息關系; p_i、q_i 是加載向量，包含著不同變量之間的信息關系; p 和 q 是獨立變量個數(shù); E 和 F 是剩余矩陣。

1. 2 SVR 建模原理

假設訓練集輸入矩陣和輸出矩陣分別為 X∈R^N×M，Y∈R^N×L 。SVR 算法是通過非線性映射將訓練數(shù)據(jù)映射到一個高維特征空間 F，然后在 F 中進行線性回歸，這種非線性映射通過定義適當?shù)暮撕瘮?shù)k( x_i，x_j) =Φ ( x_i )Φ( x_j) 來實現(xiàn)，Φ( x) 為非線性函數(shù)。本次實驗采用徑向基核函數(shù) ( Radial Basis Function，RBF) 來實現(xiàn)。RBF 核函數(shù)見式( 3)^[10]。

 

式中，σ 為核函數(shù)的寬度。則回歸函數(shù)如式 ( 4) 。

 

式中，ω 和 b 是模型中需要進行確認的參數(shù)。利用結(jié)構(gòu)風險最小化原則，對式( 4) 中需要確認的參數(shù)進行優(yōu)化，通過拉格朗日方法將其轉(zhuǎn)換為對偶問題，最終求得 SVR 回歸預測函數(shù)為式( 5) 。

 

式中，α_i 是支持向量所對應的參數(shù)值，x_i 是訓練集輸入數(shù)據(jù)向量，x_j 是測試集的輸入數(shù)據(jù)向量，y為輸出向量集合，式( 5) 經(jīng)過運算會得到預測的參數(shù)α_i 和 b，從而得到預測模型。

SVR 的參數(shù)優(yōu)化主要是針對懲罰參數(shù) c 和核函數(shù)參數(shù) σ 進行優(yōu)化，c 是確定的特征子空間中調(diào)節(jié)學習機器的置信范圍和經(jīng)驗風險比例，使學習的推廣能力最好。這兩個參數(shù)的取值直接影響 SVR預測的 效 果。本研究采用網(wǎng)格法進行參數(shù)優(yōu)化。

在一定的范圍內(nèi)取值 c 和 σ，對于 取 定 的 c 和 σ，把訓練集作為原始數(shù)據(jù)，采用交叉驗證法得到在此組 c 和 σ 數(shù)值下訓練集驗證回歸擬合度，把 驗證回歸擬合度最高的那 組 c 和 σ 作 為 最 佳 參 數(shù)。

若有多組 c 和 σ 對應于最高的回歸擬合度，選 取能夠達到最高回歸擬合度中最小的參數(shù) c 和 σ 作為最佳參數(shù); 若對應最小的 c 有多組 σ，則選擇第一組 c 和 σ 作為最佳參數(shù)[11]。參數(shù)優(yōu)化很大程度上是靠經(jīng)驗調(diào)參數(shù)。

1. 3 ANN 建模原理

ANN 的結(jié)構(gòu)是由輸入層、隱含層和輸出層構(gòu)成。它的工作原理是輸入信號的正向傳播和誤差信號的反向傳播，通過權(quán)重修正使得誤差函數(shù) E 趨于最小，從而得到預測模型[12]。誤差函數(shù) E 為式( 6) 。

 

式中，m 為學習樣本數(shù)，d_k 表示第 k 節(jié)點的期望值，y_k表示第 k 個輸出節(jié)點的值。

1. 4 基于 PCA 降維建模原理

PCA 的主要思想是降維，假設一組數(shù)據(jù)中有 n個樣本，p 個變量得到原始矩陣，見式( 7) 。

 

計算原始矩陣的協(xié)方差矩陣，如式( 8) 所示。

 

協(xié)方差矩陣特征值的大小反映了其對應的特征變量所包含的信息多少。將協(xié)方差矩陣的特征值降序排列，取前 k 個特征值對應的特征向量 ( k《 p ) ，這些特征向量稱為主成分，這個過程稱為降維^[13] 。根據(jù)特征值大于 1 的規(guī)則，以此來確定 k 的數(shù)值。PCA在分解矩陣時不單獨考慮輸出矩陣，因此用該方法提取主成分獲取的信息比 PLS 更充分。PCA 將原始矩陣 X 分解為式( 9) 。

 

式中，b_i 是得分向量，它包含著不同樣本之間的信息關系，p_i 是加載向量，它包含著不同變量之間的信息關系，p是獨立變量的個 數(shù)，G是剩余矩陣。

基于 PCA 降維建模方法的主要思想是首先用PCA 對廢水數(shù)據(jù)進行特征提取，將選取好的主成分所對應的得分向量作為 SVR 和 ANN 模型的輸入端，從而建立模型。該模型既具有 PCA 的數(shù)據(jù)壓縮和降維功能，簡化了工作量，又具有 SVR 和 ANN 的非線性建模能力^[14]。基于 PCA 降維模型的算法流程圖如圖 1 所示。該流程圖包括了原始數(shù)據(jù)的獲取、數(shù)據(jù)預處 理、主成分分析降維、SVR 建 模 和 ANN建模。

圖 1 基于 PCA 降維模型的算法流程圖

2 仿真結(jié)果與討論

2. 1 廢水數(shù)據(jù)的收集與處理

廢水^[15-16]取自廣東東莞的一家造紙廠廢水處理車間，測量數(shù)據(jù)顯示了好氧段廢水的工況。如圖 2所示，數(shù)據(jù)包含 170 個樣本點，8 個廢水變量，其中左 邊 縱 坐 標 分 別 代 表 的 是 進 水 化 學 需 氧 量( COD_inf ) 、出水化學需氧量 ( COD_eff ) 、進水懸浮固形物 ( SS_inf ) 、出水懸浮固形物 ( SS_eff ) ; 右邊縱坐標表示 流 量 Q ( 10⁴ m³ /d) 、pH 值、溫 度 T ( ℃ )和 DO ( mg /L) 。其中，把 COD_eff和 SS_eff作為輸出變量。在 MATLAB 中分析處理 170 個樣本數(shù)據(jù)，將前140 個樣本數(shù)據(jù)作為訓練集，后 30 個樣本數(shù)據(jù)作為測試集。

2. 2 PLS 預測模型的構(gòu)建

構(gòu)建 PLS 模型的第一步是選取主成分，此處選取前 4 個主成分，然后對 CODeff和 SSeff兩個輸出變量進行預測，仿真結(jié)果如圖 3 ～ 圖 6 所示。

圖 2 造紙廢水處理過程數(shù)據(jù)

圖 3 COD_eff訓練集擬合圖 ( PLS)

圖 4 COD_eff測試集預測圖 ( PLS)

圖 5 SS_eff訓練集擬合圖 ( PLS)

圖 6 SS_eff測試集預測圖 ( PLS)

2. 3 SVR 預測模型的構(gòu)建

SVR 模型的構(gòu)建仍然是對 CODeff和 SSeff兩個輸出變量進行預測，SVR 模型的輸入端是由6 個輸入變量構(gòu)成的。對于兩個輸出變量的預測網(wǎng)格法選擇 c 和 σ的參數(shù)范圍都為 [- 10，10]。仿真結(jié)果如圖 7 ～ 圖10 所示。

圖 7 COD_eff訓練集擬合圖 ( SVR)

圖 8 COD_eff測試集預測圖 ( SVR)

圖 9 SS_eff訓練集擬合圖 ( SVR)

圖 10 SS_eff測試集預測圖 ( SVR)

2. 4 ANN 預測模型的構(gòu)建

ANN 模型對 CODeff和 SSeff兩個輸出變量的網(wǎng)絡總層數(shù)為 3 層，分別為 1 個輸入層、1 個隱含層和 1 個輸出層，其中輸入層節(jié)點數(shù)為 6 個，隱含層節(jié)點數(shù)為3 個，輸出層節(jié)點數(shù)為 1 個。仿真結(jié)果如圖 11 ～ 圖14 所示。

圖 11 COD_eff訓練集擬合圖 ( ANN)

圖 12 COD_eff測試集預測圖 ( ANN)

圖 13 SS_eff訓練集擬合圖 ( ANN)

圖 14 SS_eff測試集預測圖 ( ANN)

2. 5 PCA-SVR 預測模型的構(gòu)建

對于 PCA-SVR 預測模型，為了充分減少 SVR 輸入端的干擾，將采集的 8 個變量數(shù)據(jù)都作為 PCA 模型的輸入端。將訓練集的 140 個樣本通過 PCA 降維，主成分的累計貢獻率如表 1 所示，將前 3 個主成分所對應的得分向量作為 SVR 的訓練集輸入端，訓練集輸出端仍然為 COD_eff和 SS_eff兩個變量。SVR 的測試集輸入端是由測試集 30 個樣本進行 PCA 降維，選取前3 個主成分所對應的得分向量構(gòu)成，測試集輸出端仍然是 COD_eff和 SS_eff兩個變量。對于輸出變量 CODeff網(wǎng)格法選擇 c 和 σ 的參數(shù)范圍為 [- 15，15]。對于輸出 變 量 SS_eff 網(wǎng) 格 法 選 擇 c 和 σ 的 參 數(shù) 范 圍 為[- 10，10]。仿真結(jié)果如圖 15 ～ 圖 18 所示。根據(jù)圖16 所 示，相 較 于 圖 4、圖 8 和 圖 12 中 常 規(guī) 模 型，PCA-SVR 模型對 COD_eff 濃度的預測，誤差有明顯的減小。

表 1 主成分累計貢獻率

圖 15 COD_eff訓練集擬合圖 ( PCA-SVR)

圖 16 COD_eff測試集預測圖 ( PCA-SVR)

圖 17 SS_eff訓練集擬合圖 ( PCA-SVR)

圖 18 SS_eff測試集預測圖 ( PCA-SVR)

2. 6 PCA-ANN 預測模型的構(gòu)建

PCA-ANN 模型對 CODeff和 SSeff兩個輸出變量的網(wǎng)絡結(jié)構(gòu)仍然為 1 個輸入層、1 個隱含層和 1 個輸出層，其中隱含層節(jié)點數(shù)為 3，輸出層節(jié)點數(shù)為 1個。PCA-ANN 模型對輸入端提取主成分的方法和PCA-SVR 模型相同，選取前 3 個主成 分 作 為 ANN模型的輸入端，即輸入層節(jié)點數(shù)為 3 個。仿真結(jié)果如圖19 ～ 圖 22 所示。根據(jù)圖 20 所示，相比于 PCASVR 模型 PCA-ANN 模型對 COD_eff濃度的預測誤差，有進一步的減小。此外，圖 22 中 PCA-ANN 模型對于 SS_eff濃度 的 預 測 精 度 較 其 他 4 種模型有明顯的提升。

圖 19 COD_eff訓練集擬合圖 ( PCA-ANN)

圖 20 COD_eff測試集預測圖 ( PCA-ANN)

圖 21 SS_eff訓練集擬合圖 ( PCA-ANN)

圖 22 SS_eff測試集預測圖 ( PCA-ANN)

2. 7 計算結(jié)果比較分析

為了比較 5 種模型的具體預測精度，采用均方差( Mean Square Error，MSE) 和決定系數(shù) ( Determination Coefficient，R²) 作為模型的評價指標。MSE 是預測數(shù)據(jù)和原始數(shù)據(jù)對應點誤差的平方和的均值，MSE越接近于 0，代表數(shù)據(jù)預測結(jié)果越精確。R² 是通過數(shù)據(jù)的變化來表示擬合結(jié)果的好壞，R² 越接近于 1，代表輸入變量對輸出變量的解釋能力越強，對數(shù)據(jù)擬合的效果也越好。

對兩個輸出變量預測的 5 種模型的性能指標對比如表 2 和表 3 所示。從這 2 個表中可以看出，基于PCA 降維模型的 R² 比無 PCA 降維模型有明顯的提高，MSE 有 明 顯 的 下 降。從 表 2 可 以 看 出，對 于COD_eff的預測模型，PCA-ANN 模型的 R² ( 0. 984) 最大，MSE ( 1. 892 ) 最 小。從 表 3 可 以 看 出，對 于SS_eff的預測模型，PCA-ANN 模型的 R² ( 0. 762) 最大，MSE 最小; PLS 模型的 R² ( 0. 228) 最小，MSE最大。對于出水兩種指標的預測，線性 PLS 方法的預測精度最低

表 2 對 COD_eff預測模型性能指標對

表 3 對出水 SS_eff預測模型性能指標對比

3 結(jié) 論

通過構(gòu)建 偏 最 小 二 乘 ( PLS) 、支 持 向 量 回 歸( SVR) 、人工神經(jīng)網(wǎng)絡 ( ANN) 、主成分分析-支持向量回 歸 ( PCA-SVR) 、主 成 分 分 析-人 工 神 經(jīng) 網(wǎng) 絡( PCA-ANN) 5 種模型對造紙廢水處理過程中出水化學需氧量 ( COD) 和出水懸浮固形物 ( SS) 濃度進行預測。計算結(jié)果表明，非線性 SVR 和 ANN 建模方法的預測效果要優(yōu)于線性 PLS 的預測效果; 在 5 種模型中，基于 PCA 降維模型的軟測量方法可以獲得更好的預測效果，且 PCA-ANN 的預測效果最優(yōu)。考慮到 PCA-ANN 與 PCA-SVR 2 種模型的預測精度受各自模型參數(shù)的影響較大，本課題組下一步將研究模型參數(shù)的選擇對模型預測精度的影響。

                                                                                                                                         來源：中國造紙學報