摘 要： 使用分段非線性逼近算法計算超越函數，以神經網絡中應用最為廣泛的Sigmoid函數為例，結合函數自身對稱的性質及其導數不均勻的特點提出合理的分段方法，給出分段方式同逼近多項式階數對逼近結果精度的影響。完成算法在FPGA上的硬件實現，給出一種使用三階多項式處理Sigmoid函數的擬合結果及流水線架構，處理精度達到10-5數量級，最大頻率達到127.327 MHz，滿足了高速、高精度的處理要求。
?

0 引言

在實時圖像處理、數字信號處理等領域內，經常需要對非線性函數進行高速計算[1]。而在人工神經網絡中更是需要對大量的非線性函數進行計算。因此，在人工神經網絡的研究領域內，研究如何高速地處理非線性函數具有十分重要的意義。在人工神經網絡中應用最為廣泛的是Sigmoid函數。目前對于Sigmoid函數實現技術的研究主要分為軟件實現和硬件實現兩個方面。由于軟件相比硬件而言速度較慢并且并行程度很低，所以無法滿足其快速處理的要求[2]。因此，在超大規模集成電路快速發展的當今時期，研究如何利用硬件快速處理Sigmoid函數顯然更加有意義。

FPGA憑借其可重構技術的靈活性，成為解決Sigmoid函數高速計算問題的有力工具。目前利用FPGA計算Sigmoid函數常用的方法有查找表法、CORDIC算法、Taylor級數展開法和分段線性逼近法。查找表法[3]提前將所有的計算結果保存在一個ROM中，這種方法計算方便且容易實現，但是隨著函數計算精度的提高和擬合區間的增加，其所需求的存儲資源會顯著增加，資源消耗很高。CORDIC算法[4]通過多次迭代將一些復雜的運算轉換成為簡單的運算，但是隨著精度增高，其算法的迭代次數也會提高，計算速度會減慢。Taylor級數展開法[5]在精度要求較高的條件下會增加乘法器和加法器的使用，資源消耗巨大。分段線性逼近法[6-7]將查找表和低階多項式相結合，計算速度較快，是當前解決此問題的主流方法，然而在有限的分段區間用低階的多項式進行擬合運算，其計算結果在精度上并沒有優勢，難以實現高精度的運算要求。

為了解決上述問題，本文采用傳統的分段非線性逼近法來處理Sigmoid函數。文獻[8]中使用了分段非線性逼近法來處理神經網絡中常見的雙曲正切函數，然而文中并沒有給出分段方法的依據，同時在各小段的分段區間所得到的精度也差異很大。因此，本文針對這一問題，以Sigmoid函數為研究對象，結合Sigmoid函數自身對稱及其導數不均勻的性質，利用數值分析中的最小二乘法作為逼近原理，給出合理的分段方式。同時給出對比均勻分段的處理方式下逼近精度的差異情況。利用硬件描述語言實現硬件結構的設計，并在Xilinx Virtex-5系列的XC5VLX110T器件上完成實際驗證和性能測試，從資源使用、運算速度同計算精度等方面對設計結果進行合理評估。

1 Sigmoid函數的分段非線性擬合方案及結果分析

分段非線性逼近法的基本原理是用高階多項式來逼近曲線。首先將待逼近函數按照一定的方式進行分段，之后對每一個小段構建高階多項式近似地代替原曲線，從而將復雜的非線性函數的計算問題轉換成為多項式的計算問題。

由泰勒公式的原理可知，函數在某一點按照泰勒公式展開，隨著展開的項數越來越多，逼近式的誤差會越來越小。并且，隨著項數的增加，每一項在數值上逐漸遞減，并最終趨向于無窮小。函數在某一點按照泰勒公式展開，保留N階多項式時，其之后的所有項數均影響誤差，并且(N+1)階導函數的數值直接影響N階多項式的逼近結果。具體影響的方式為：N+1階導數取絕對值后，其值越大，表明函數在這一點處使用N階多項式逼近的誤差越高，因此在這點處對應的分段區間間隔應該相對較??；其值越小，表明函數在這一點處使用N階多項式逼近的誤差越低，因此在這點處對應的分段區間間隔應該相對較大。在考慮分段時，可以根據N+1階導數的數值大小，將函數的分段區間進行動態調整，避免造成誤差過大。通過這樣的處理方式，可以對分段方式進行一些優化。下面結合Sigmoid函數進行具體分析。

首先分析Sigmoid函數及其導函數的性質，如圖1。F(x)為Sigmoid函數，G(x)為其4階導函數。在保證足夠的分段區間時，使用3階多項式就能夠得到較高的逼近精度。因此，本文使用3階多項式逼近Sigmoid函數，4階導函數G(x)直接影響逼近的誤差。通過研究圖像，得出以下結論：

(1)Sigmoid函數F(x)是以點(0，0.5)為對稱中心的函數，因此在計算Sigmoid函數值時只需計算正區間或負區間，另一半可通過對稱關系得到；

(2)以正區間為研究對象，Sigmoid函數的4階導數在x=1處附近取得最大值，并向兩側衰減，隨著x的不斷增大，4階導數最終趨向于0。