手把手教你在windows7上安裝tensorflow-gpu開發(fā)環(huán)境

1、FM背景

在計(jì)算廣告和推薦系統(tǒng)中，CTR預(yù)估(click-through rate)是非常重要的一個(gè)環(huán)節(jié)，判斷一個(gè)商品的是否進(jìn)行推薦需要根據(jù)CTR預(yù)估的點(diǎn)擊率來進(jìn)行。在進(jìn)行CTR預(yù)估時(shí)，除了單特征外，往往要對(duì)特征進(jìn)行組合。對(duì)于特征組合來說，業(yè)界現(xiàn)在通用的做法主要有兩大類：FM系列與Tree系列。今天，我們就來講講FM算法。

2、one-hot編碼帶來的問題

FM(Factorization Machine)主要是為了解決數(shù)據(jù)稀疏的情況下，特征怎樣組合的問題。已一個(gè)廣告分類的問題為例，根據(jù)用戶與廣告位的一些特征，來預(yù)測(cè)用戶是否會(huì)點(diǎn)擊廣告。數(shù)據(jù)如下：(本例來自美團(tuán)技術(shù)團(tuán)隊(duì)分享的paper)

clicked是分類值，表明用戶有沒有點(diǎn)擊該廣告。1表示點(diǎn)擊，0表示未點(diǎn)擊。而country,day,ad_type則是對(duì)應(yīng)的特征。對(duì)于這種categorical特征，一般都是進(jìn)行one-hot編碼處理。

將上面的數(shù)據(jù)進(jìn)行one-hot編碼以后，就變成了下面這樣 ：

因?yàn)槭莄ategorical特征，所以經(jīng)過one-hot編碼以后，不可避免的樣本的數(shù)據(jù)就變得很稀疏。舉個(gè)非常簡(jiǎn)單的例子，假設(shè)淘寶或者京東上的item為100萬，如果對(duì)item這個(gè)維度進(jìn)行one-hot編碼，光這一個(gè)維度數(shù)據(jù)的稀疏度就是百萬分之一。由此可見，數(shù)據(jù)的稀疏性，是我們?cè)趯?shí)際應(yīng)用場(chǎng)景中面臨的一個(gè)非常常見的挑戰(zhàn)與問題。

one-hot編碼帶來的另一個(gè)問題是特征空間變大。同樣以上面淘寶上的item為例，將item進(jìn)行one-hot編碼以后，樣本空間有一個(gè)categorical變?yōu)榱税偃f維的數(shù)值特征，特征空間一下子暴增一百萬。所以大廠動(dòng)不動(dòng)上億維度，就是這么來的。

3、對(duì)特征進(jìn)行組合

普通的線性模型，我們都是將各個(gè)特征獨(dú)立考慮的，并沒有考慮到特征與特征之間的相互關(guān)系。但實(shí)際上，大量的特征之間是有關(guān)聯(lián)的。最簡(jiǎn)單的以電商為例，一般女性用戶看化妝品服裝之類的廣告比較多，而男性更青睞各種球類裝備。那很明顯，女性這個(gè)特征與化妝品類服裝類商品有很大的關(guān)聯(lián)性，男性這個(gè)特征與球類裝備的關(guān)聯(lián)性更為密切。如果我們能將這些有關(guān)聯(lián)的特征找出來，顯然是很有意義的。

一般的線性模型為：

從上面的式子很容易看出，一般的線性模型壓根沒有考慮特征間的關(guān)聯(lián)。為了表述特征間的相關(guān)性，我們采用多項(xiàng)式模型。在多項(xiàng)式模型中，特征xi與xj的組合用xixj表示。為了簡(jiǎn)單起見，我們討論二階多項(xiàng)式模型。具體的模型表達(dá)式如下：

上式中，n表示樣本的特征數(shù)量,xi表示第i個(gè)特征。與線性模型相比，F(xiàn)M的模型就多了后面特征組合的部分。

4、FM求解

從上面的式子可以很容易看出，組合部分的特征相關(guān)參數(shù)共有n(n?1)/2個(gè)。但是如第二部分所分析，在數(shù)據(jù)很稀疏的情況下，滿足xi,xj都不為0的情況非常少，這樣將導(dǎo)致ωij無法通過訓(xùn)練得出。

為了求出ωij，我們對(duì)每一個(gè)特征分量xi引入輔助向量Vi=(vi1,vi2,?,vik)。然后，利用vivj^T對(duì)ωij進(jìn)行求解。

那么ωij組成的矩陣可以表示為:

那么，如何求解vi和vj呢？主要采用了公式：

具體過程如下：

上面的式子中有同學(xué)曾經(jīng)問我第一步是怎么推導(dǎo)的，其實(shí)也不難，看下面的手寫過程(大伙可不要嫌棄字丑喲)

經(jīng)過這樣的分解之后，我們就可以通過隨機(jī)梯度下降SGD進(jìn)行求解：

5、tensorflow代碼詳解

代碼參考地址：https://github.com/babakx/fm_tensorflow/blob/master/fm_tensorflow.ipynb上面的代碼使用的是python2編碼，在python3下運(yùn)行會(huì)出錯(cuò)，所以如果大家使用的是python3的話，可以參考我寫的，其實(shí)就是修復(fù)了幾個(gè)bug啦，哈哈。我的github地址：https://github.com/princewen/tensorflow_practice/tree/master/recommendation-FM-demo。

本文使用的數(shù)據(jù)是MovieLens100k Datase，數(shù)據(jù)包括四列，分別是用戶ID，電影ID，打分，時(shí)間。

輸入變換

要使用FM模型，我們首先要將數(shù)據(jù)處理成一個(gè)矩陣，矩陣的大小是用戶數(shù) * 電影數(shù)。如何根據(jù)現(xiàn)有的數(shù)據(jù)進(jìn)行處理呢？使用的是scipy.sparse中的csr.csr_matrix，理解這個(gè)函數(shù)真的費(fèi)了不少功夫呢，不過還是在下面博客(https://blog.csdn.net/u012871493/article/details/51593451)的幫助下理解了函數(shù)的原理。盜用博客中的一張圖來幫助大家理解這個(gè)函數(shù)的輸入：

函數(shù)形式如下：

csr_matrix((data, indices, indptr)

可以看到，函數(shù)接收三個(gè)參數(shù)，第一個(gè)參數(shù)是數(shù)值，第二個(gè)參數(shù)是每個(gè)數(shù)對(duì)應(yīng)的列號(hào)，第三個(gè)參數(shù)是每行的起始的偏移量，舉上圖的例子來說，第0行的起始偏移是0，第0行有2個(gè)非0值，因此第一行的起始偏移是2，第1行有兩個(gè)非0值，因此第二行的起始偏移是4，依次類推。

下面的代碼是如何將原始的文件輸入轉(zhuǎn)換成我們的矩陣：

def vectorize_dic(dic,ix=None,p=None,n=0,g=0): """ dic -- dictionary of feature lists. Keys are the name of features ix -- index generator (default None) p -- dimension of featrure space (number of columns in the sparse matrix) (default None) """ if ix==None: ix = dict() nz = n * g col_ix = np.empty(nz,dtype = int) i = 0 for k,lis in dic.items(): for t in range(len(lis)): ix[str(lis[t]) + str(k)] = ix.get(str(lis[t]) + str(k),0) + 1 col_ix[i+t*g] = ix[str(lis[t]) + str(k)] i += 1 row_ix = np.repeat(np.arange(0,n),g) data = np.ones(nz) if p == None: p = len(ix) ixx = np.where(col_ix < p) ? ?return csr.csr_matrix((data[ixx],(row_ix[ixx],col_ix[ixx])),shape=(n,p)),ixcols = ['user','item','rating','timestamp']train = pd.read_csv('data/ua.base',delimiter=' ',names = cols)test = pd.read_csv('data/ua.test',delimiter=' ',names = cols)x_train,ix = vectorize_dic({'users':train['user'].values, ? ? ? ? ? ? ? ? ? ? ? ? ? ?'items':train['item'].values},n=len(train.index),g=2)x_test,ix = vectorize_dic({'users':test['user'].values, ? ? ? ? ? ? ? ? ? ? ? ? ? 'items':test['item'].values},ix,x_train.shape[1],n=len(test.index),g=2)y_train = train['rating'].valuesy_test = test['rating'].valuesx_train = x_train.todense()x_test = x_test.todense()

如果不做處理，函數(shù)返回的矩陣是按如下的格式保存的：

使用todense變換后，變成如下樣式：

估計(jì)值計(jì)算

得到我們的輸入之后，我們使用tensorflow來設(shè)計(jì)我們的模型，其實(shí)很簡(jiǎn)單啦，我們模型的估計(jì)值由兩部分構(gòu)成，原始的可以理解為線性回歸的部分，以及交叉特征的部分，交叉特征直接使用我們最后推導(dǎo)的形式即可，再回顧一遍：

因此，我們需要定義三個(gè)placeholder，分別是輸入的x，輸入的y，以及我們的 用戶數(shù)*電影數(shù)大小的待學(xué)習(xí)的fm矩陣：

n,p = x_train.shapek = 10x = tf.placeholder('float',[None,p])y = tf.placeholder('float',[None,1])w0 = tf.Variable(tf.zeros([1]))w = tf.Variable(tf.zeros([p]))v = tf.Variable(tf.random_normal([k,p],mean=0,stddev=0.01))#y_hat = tf.Variable(tf.zeros([n,1]))linear_terms = tf.add(w0,tf.reduce_sum(tf.multiply(w,x),1,keep_dims=True)) # n * 1pair_interactions = 0.5 * tf.reduce_sum( tf.subtract( tf.pow( tf.matmul(x,tf.transpose(v)),2), tf.matmul(tf.pow(x,2),tf.transpose(tf.pow(v,2))) ),axis = 1 , keep_dims=True)y_hat = tf.add(linear_terms,pair_interactions)

定義損失函數(shù)

這里我們定義的損失函數(shù)除了平方損失外，還加了l2正則項(xiàng)，并使用梯度下降法進(jìn)行參數(shù)的更新：

lambda_w = tf.constant(0.001,name='lambda_w')lambda_v = tf.constant(0.001,name='lambda_v')l2_norm = tf.reduce_sum( tf.add( tf.multiply(lambda_w,tf.pow(w,2)), tf.multiply(lambda_v,tf.pow(v,2)) ))error = tf.reduce_mean(tf.square(y-y_hat))loss = tf.add(error,l2_norm)train_op = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(loss)

模型訓(xùn)練接下來就是訓(xùn)練啦，這段代碼比較好理解：

epochs = 10batch_size = 1000# Launch the graphinit = tf.global_variables_initializer()with tf.Session() as sess: sess.run(init) for epoch in tqdm(range(epochs), unit='epoch'): perm = np.random.permutation(x_train.shape[0]) # iterate over batches for bX, bY in batcher(x_train[perm], y_train[perm], batch_size): _,t = sess.run([train_op,loss], feed_dict={x: bX.reshape(-1, p), y: bY.reshape(-1, 1)}) print(t) errors = [] for bX, bY in batcher(x_test, y_test): errors.append(sess.run(error, feed_dict={x: bX.reshape(-1, p), y: bY.reshape(-1, 1)})) print(errors) RMSE = np.sqrt(np.array(errors).mean()) print (RMSE)