基于圖展開和參數共享的思想，我們可以設計各種循環神經網絡。

計算循環網絡（將 x值的輸入序列映射到輸出值 o 的對應序列） 訓練損失的計算圖。損失L 衡量每個 o與相應的訓練目標 v 的距離。當使用 softmax 輸出時，我們假設 o 是未歸一化的對數概率。損失 L 內部計算，并將其與目標 y 比較。RNN輸入到隱藏的連接由權重矩陣 U參數化，隱藏到隱藏的循環連接由權重矩陣 W參數化以及隱藏到輸出的連接由權矩陣 V 參數化。（左） 使用循環連接繪制的RNN和它的損失。（右） 同一網絡被視為展開的計算圖，其中每個節點現在與一個特定的時間實例相關聯。

循環神經網絡中一些重要的設計模式包括以下幾種：

1. 每個時間步都有輸出，并且隱藏單元之間有循環連接的循環網絡，如上圖所示。

2. 每個時間步都產生一個輸出，只有當前時刻的輸出到下個時刻的隱藏單元之間

有循環連接的循環網絡。

3. 隱藏單元之間存在循環連接，但讀取整個序列后產生單個輸出的循環網絡。

任何圖靈可計算的函數都可以通過這樣一個有限維的循環網絡計算，在這個意義上上圖的循環神經網絡是萬能的。RNN經過若干時間步后讀取輸出，這與由圖靈機所用的時間步是漸近線性的，與輸入長度也是漸近線性的 （Siegelmann and Sontag， 1991; Siegelmann， 1995; Siegelmann and Sontag， 1995;Hyotyniemi， 1996）。由圖靈機計算的函數是離散的，所以這些結果都是函數的具體實現，而不是近似。RNN作為圖靈機使用時，需要一個二進制序列作為輸入，其輸出必須離散化后提供二進制輸出。利用單個有限大小的特定RNN計算在此設置下的所有函數是可能的（Siegelmann and Sontag （1995） 用了 886 個單元）。圖靈機的 ‘‘輸入’’ 是要計算函數的詳細說明 （specification），所以模擬此圖靈機的相同網絡足以應付所有問題。用于證明的理論RNN可以通過激活和權重（由無限精度的有理數表示）來模擬無限堆棧。

現在我們研究上圖中RNN的前向傳播公式。這個圖沒有指定隱藏單元的激活函數。我們假設使用雙曲正切激活函數。此外，圖中沒有明確指定何種形式的輸出和損失函數。我們假定輸出是離散的，如用于預測詞或字符的RNN。一種代表離散變量的自然方式是把輸出 o作為每個離散變量可能值的非標準化對數概率。然后，我們可以應用softmax 函數后續處理后，獲得標準化后概率的輸出向量 。RNN從特定的初始狀態 h（0） 開始前向傳播。從 t = 1 到 t = τ 的每個時間步，我們應用以下更新方程：

其中的參數的偏置向量 b和 c 連同權重矩陣 U、V 和 W，分別對應于輸入到隱藏、隱藏到輸出和隱藏到隱藏的連接。這個循環網絡將一個輸入序列映射到相同長度的輸出序列。與 x序列配對的 y 的總損失就是所有時間步的損失之和。例如，L（t） 為給定的的負對數似然，則

其中， 需要讀取模型輸出向量的項。

關于各個參數計算這個損失函數的梯度是昂貴的操作。梯度計算涉及執行一次前向傳播（如在上圖展開圖中從左到右的傳播），接著是由右到左的反向傳播。運行時間是 O（τ ），并且不能通過并行化來降低，因為前向傳播圖是固有循序的; 每個時間步只能一前一后地計算。前向傳播中的各個狀態必須保存，直到它們反向傳播中被再次使用，因此內存代價也是 O（τ ）。應用于展開圖且代價為 O（τ ） 的反向傳播算法稱為通過時間反向傳播 （back-propagation through time， BPTT）。

此類RNN的唯一循環是從輸出到隱藏層的反饋連接。在每個時間步 t，輸入為，隱藏層激活為。（左） 回路原理圖。（右） 展開的計算圖。這樣的RNN沒有前面介紹的 RNN 那樣強大（只能表示更小的函數集合）。上圖中的RNN可以選擇將其想要的關于過去的任何信息放入隱藏表示 ？ 中并且將 ？ 傳播到未來。該圖中RNN被訓練為將特定輸出值放入 o中，并且 o是允許傳播到未來的唯一信息。此處沒有從 h 前向傳播的直接連接。之前的 h僅通過產生的預測間接地連接到當前。o通常缺乏過去的重要息，除非它非常高維且內容豐富。這使得該圖中的RNN不那么強大，但是它更容易訓練，因為每個時間步可以與其他時間步分離訓練，允許訓練期間更多的并行化。

關于時間展開的循環神經網絡，在序列結束時具有單個輸出。這樣的網絡可以用于概括序列并產生用于進一步處理的固定大小的表示。在結束處可能存在目標（如此處所示），或者通過更下游模塊的反向傳播來獲得輸出上的梯度。