0 引言

    近幾年，深度學習在人工智能、機器學習中取得了飛躍式的突破，特別是在語音識別和圖像識別等領域^[1-3]。其中，深度神經網絡由于結構類似于生物神經網絡，因此擁有高效、精準抽取信息深層隱含特征的能力和能夠學習多層的抽象特征表示，且能夠對跨域、多源、異質的內容信息進行學習等優勢，可以一定程度上處理推薦系統稀疏性、新物品、可擴張性等問題，這為推薦系統解決固有問題帶來了新的機遇。

    本文提出了基于深度神經網絡結合多用戶-項目、協同過濾的推薦模型(Multi-View-Collaborative Filtering integrating Deep Neural Network，MV-CFiDNN)^[4-6]，基于深度神經網絡理論，提取用戶、項目信息的深層隱含特征并自學習、優化提取模型，最后結合多用戶-項目、協同過濾(Collaborative Filtering)提供廣泛的個性化推薦。

1 深度神經網絡推薦模型

    基于深度學習的推薦系統通過將用戶和項目的各類原始數據信息提供給輸入層，在隱含層通過神經網絡學習模型進行用戶、項目的隱特征學習及抽取，最后通過學習隱表示實現用戶、項目推薦^[7-8]。基于深度神經網絡框架的兩次自學習并結合協同過濾的CFiDNN框架如圖1所示。CFiDNN框架兩大核心為：候選生成網絡融合協同過濾與排名網絡結合協同過濾。

    其中，候選集產生以用戶在瀏覽歷史記錄中的提取特征作為輸入信息，然后基于多源數據庫檢索到與用戶相關的一個數據集，這一數據集就是候選集。這部分候選集通過協同過濾(CF)實現廣泛個性化。再通過用戶、項目的多類特征源學習計算相似性，實現最小排名集，最后基于協同過濾實現推薦。

1.1 候選集生成模塊

    對于候選集生成，首先，將用戶瀏覽及搜索項目等歷史記錄信息映射為向量，然后對其求平均值獲取定長表示；并且，輸入用戶地理信息特征值優化個性化推薦效果，二值性和連續性特征值通過歸一化得到[0，1]范圍。其次，把所有輸入特征值拼接到同一個向量，并且把拼接后的向量輸予激活函數處理。最后，通過神經網絡訓練輸給Softmax進行分類，通過訓練的特征與源項目進行相似度計算，獲取相似度最高的N個項目作為候選模塊中的候選集，圖2為候選生成結構圖。

    基于生成的候選集協同過濾提供廣泛的個性化，組合基于用戶-項目相關度評價實現精準、實時、個性化推薦。

    候選集生成部分是基于多源異構數據庫中學習選擇與用戶相關度較高的項目，對于預測用戶U，其瀏覽某一個信息的概率為：

其中，U是用戶特征值，V表示多源異構數據庫，v_i表示數據庫中第i個項目的特征值，U與v_i向量擁有相等長度，它兩通過點積在隱層全連接實現。

1.2 排序生成模塊

    排序生成結構與候選生成結構類似，區別在于排序生成是對候選生成集升級細致分類排序。與傳統排序抽取特征值類似，神經網絡排序也是通過拼接大量用戶、項目相關特征值(文本ID、瀏覽時長等)。特征值的處理與候選生成類似，都基于向量化，區別在于排序生成網絡最后通過加權邏輯回歸訓練，給前期產生的候選集再評分，評分較高的K個項目返回給用戶或通過協同過濾實現個性化推薦^[8-10]。圖3為排序生成結構圖。

    設定部分Softmax分類過程：首先，對于候選生成集或排序生成列表的訓練過程，通過對負樣本類別采用實際類別計算將數量減小到數千；其次，在推薦階段，不計Softmax歸一化，將項目評分轉化為點積空間的最近鄰尋找或協同過濾根據相關度計算；最后，選取與用戶U相關度最高的K項作為候選集或排序列表，然后通過協同過濾個性化推薦，把信息推薦給用戶。

1.3 多用戶—項目模型

    基于多用戶、多項目的多源異構特征結合兩次深度神經網絡學習，從而實現個性化推薦。其實現思想為：首先，將原始特征值向量化后映射為用戶、項目兩個通道；然后利用深度神經網絡模型把用戶、項目信息向量映射到一個隱空間；最后，通過評估相似度(如余弦相似度法)把隱空間的用戶、項目進行相關度等排名、匹配，從而實現精準、個性化推薦。圖4為多用戶-項目DNN(Deep Neural Network)模型結構^[11-12]。

    在用戶視角，利用其瀏覽歷史、搜索(Search tokens)、位置信息、二值性(登錄與否、性別)和連續性(年齡)、觀看時長等作為源特征值輸入x_u，然后通過深度神經網絡學習模型學習輸出隱表示y_u。在項目視角，利用項目的描述、標簽、類型等作為源特征值輸入x_i，通過深度神經網絡學習模型學習輸出隱表示y_i，其中模型擁有多個用戶、項目，分別為m、N。用戶視角DNN模型為f_u(x_u，w_u)，第i個項目視角DNN模型為f_i(x_i，w_i)。若擁有M個樣本{(x_u，j，x_a，j)}，0≤j≤M，(x_u，j，x_a，j)是用戶u與項目a的交互，利用用戶、項目的擬合交互記錄進行調參學習：

    通過模型訓練、學習之后獲得的用戶隱表示y_u與項目隱表示y_i，利用在隱空間中計算用戶與項目的相關度、排名，選擇相關度排序較高的k項目以及源數據庫協同過濾實現精準、個性化推薦。

1.4 特征值向量化

    特征值向量化是通過詞組嵌入，將特制文本映射到w維空間向量。首先，把用戶、項目所有相關聯特征值分別合并，并對特征值量化為評分數據然后求其平均值，即對多源異構原始數據進行評分式數據處理及歸一化。

    (1)用戶特征數據為：

1.5 全連接層

    全連接層(隱層)輸入數據為用戶、項目源特征值向量化后的值，設隱含層共m個神經元，通過隱含層ReLU激活函數處理后，獲得向量u_i，就是用戶user_i隱特征值，同理，項目item_j的隱特征值向量為v_j，計算過程如下：

1.6 矩陣分解

    最后，利用Adam深度學習優化方式對預測與真實評分進行擬合^[13]，對于一些擁有評分的項目，使預測最大可能接近真實，由此學習推薦，對新物品實現個性化推薦(未評分項目預測真實評分無限接近預測值)。

2 實驗仿真及分析

2.1 實驗環境

    算法性能分析的實驗環境以Windows Server2012 R2操作系統為實驗支撐，相關配置為：Intel Xeon Silver 4116 CPU處理器，編程語言Python，128 GB內存，雙GPU。編譯環境在Anaconda的Jupyter Notebook中實現并采用MATLAB進行仿真。

2.2 數據集合

    本文通過2個真實、實時數據集，對深度神經網絡融合協同過濾推薦模型進行評估，數據集分別為Amazon Movies and TV(AMT)評論評分與Amazon Clothing(AC)視頻評論、評分。數據包括用戶ID、物品ID及用戶評論、評分。評分值為1~5，值越大用戶喜好度越高。同時，實驗數據按需求進行訓練集TrainSet與測驗集TestSet劃分，且二者沒有交集。

2.3 評價標準

    本文提出的深度神經網絡融合協同過濾推薦模型通過用戶與項目的各類歷史記錄中抽取隱特征，然后對特征值進行學習預判、排序。因此本文應用均方根誤差(RMSE)作為評價此模型的指標，通過學習特征模型與真實特征計算偏差，并求平方，然后與預測數據量N做比值平方根，計算公式如下：

2.4 實驗對比

    實驗通過3個有效模型進行比較，分別為Probabilistic Matrix Factorization(PMF)、LibMF和DNNMF。

2.5 執行時間對比分析

    深度神經網絡(DNN)推薦算法與傳統協同過濾(CF)運行時間對比：實驗處理數據為AMT、AC真實數據，大小為1.88 GB。深度神經網絡輸入節點為1 024個，隱含層18個，輸出節點1 024個，Spark集群節點為3，比較深度神經網絡訓練與傳統協同過濾處理數據集的耗時。實驗結果如圖5所示，其中user表示用戶測試數據集耗時，item表示商品測試數據集耗時。顯然，DNN執行效率更高。

2.6 實驗結果與分析

    實驗在2個真實數據集下通過本文提出的MV-CFi-DNN模型進行計算評估，同時用RMSE來對模型進行評估預測，在相同實驗環境與同一數據前提下，將MV-CFi-DNN與PMF、LibMF做比較分析。

    參數設置為：用戶、項目特征值權重分別為α=1，β=0.5，MV-CFiDNN模型學習率為l_r=0.000 65，用戶、項目隱特征正則化為λ_user=λ_item=λ，深度神經網絡神經元數為1 026個。

    為了將MV-CFiDNN模型與PMF、LibMF模型對比，把2個真實數據集隨機分為80%的TrainSet與20%的TestSet，且兩者沒有交集，同時把TestSet中的20%數據集隨機用于驗證，用來調整模型參數。

    從圖6可知，通過在2個真實數據集中測試后，PMF、LibMF的RMSE值相差不大，但與MV-CFiDNN模型的RMSE值有一定差異，表明深度神經網絡融合多用戶-項目、協同過濾模型對于特征值抽取有很好效果。通過實驗結果可以看出，本文提出的深度神經網絡融合多用戶-項目協同過濾模型(MV-CFiDNN)的RMSE值與PMF、LibMF模型比較，都有下降，說明MV-CFiDNN模型能夠解決傳統算法模型的稀疏性、新物品等問題。

3 結束語

    本文通過深度神經網絡融合協同過濾，提出了MV-CFiDNN模型，該模型首先對原數據庫進行深度神經網絡結合協同過濾個性化進行學習、提取特征值然后生成候選集，再對候選集進行二次學習、提取等生成排序集。產生候選集與排序集過程的深度神經網絡學習方法包括輸入層、隱含層及輸出層，其中輸入層是對輸入特征值進行向量化后與用戶、項目權重內積傳輸給隱含層，隱含層根據接收到的值進行調參、重置等神經網絡學習，然后學習、提取的特征值傳遞給輸出層。通過計算得到預測值與真實值擬合。

    未來研究可以通過多種神經網絡結合更多基礎推薦模型，以便使系統實現智能且符合人為思想的精準、個性化推薦。

參考文獻

[1] PENG Y，ZHU W，ZHAO Y，et al.Cross-media analysis and reasoning：advances and directions[J].Frontiers of Information Technology & Electronic Engineering，2017，18(1)：44-57.

[2] COVINGTON P，ADAMS J，SARGIN E.Deep neural networks for youtube recommendations[C].Proceedings of the10th ACM Conference on Recommender Systems.ACM，2016：191-198.

[3] LI P，WANG Z，REN Z，et al.Neural rating regression with abstractive tips generation for recommendation[Z].2017.

[4] SONG Y，ELKAHKY A M，HE X.Multi-rate deep learning for temporal recommendation[C].Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval.ACM，2016：909-912.

[5] VASILE F，SMIRNOVA E，CONNEAU A.Meta-Prod2Vec：product embeddings using side-information for recommendation[C].ACM Conference on Recommender Systems.ACM，2016：225-232.

[6] HSIEH C K，YANG L，CUI Y，et al.Collaborative metric learning[C].Proceedings of the 26th International Conference on World Wide Web.International World Wide Web Conferences Steering Committee，2017：193-201.

[7] WANG X，HE X，NIE L，et al.Item silk road: recommending items from information domains to social users[Z].2017.

[8] ROY S，GUNTUKU S C.Latent factor representations for cold-start video recommendation[C].Proceedings of the 10th ACM Conference on Recommender Systems.ACM，2016：99-106.

[9] ZHENG L，NOROOZI V，YU P S.Joint deep modeling of users and items using reviews for recommendation[C].Proceedings of the Tenth ACM International Conference on Web Search and Data Mining.ACM，2017：425-434.

[10] EBESU T，FANG Y.Neural citation network for context-aware citation recommendation[C].International ACM SIGIR Conference on Research and Development in Information Retrieval.ACM，2017：1093-1096.

[11] Zhang Qi，Wang Jiawen，Huang Haoran，et al.Hashtag recommendation for multimodal microblog using co-attention network[C].IJCAI2017，2017.

[12] WEI J，HE J，CHEN K，et al.Collaborative filtering and deep learning based recommendation system for cold start items[J].Expert Systems with Applications，2017，69：29-39.

[13] WANG S，WANG Y，TANG J，et al.What your images reveal: exploiting visual contents for point-of-interest recommendation[C].Proceedings of the 26th International Conference on World Wide Web.International World Wide Web Conferences Steering Committee，2017：391-400.

作者信息:

字云飛，李業麗，孫華艷

(北京印刷學院 信息工程學院，北京102600)