網絡科學是從交叉學科研究成長起來的一個新興的學術領域。致力于研究復雜網絡的性質，并且應用這些性質去研究一些具有網絡特點的領域，比如信息技術網絡、計算機網絡、生物圈網絡、學習和認知網絡、社會關系網絡、經濟和金融網絡等。這個領域以數學中的圖論為理論基礎，從物理中的統計力學、計算機科學中的數據挖掘和信息可視化、統計學中的推斷建模、以及社會學和經濟學中的社會結構理論等學科和分之中汲取方法論營養。美國國家科研委員會（National Research Council）將網絡科學定義為“研究物理、生物、和社會現象的網絡化表達、創建針對這些象限具有預測效果的模型”的學科。

近年來，網絡科學家一直試圖解決的基本問題之一是，確定最能影響網絡功能的、稱為關鍵參與者（key players）的最佳節點集（optimal set of nodes）。

確定主要參與者可以極大地有益于許多實際應用，例如，增強網絡免疫的技術、輔助流行病控制、藥物設計和防止病毒營銷等。然而，由于其具有NP艱難性，使用具有多項式時間復雜度的精確算法來解決此問題已證明具有很高的挑戰性。

中國國防科技大學的科學家、會同加州大學洛杉磯分校（UCLA）和哈佛醫學院（HMS）的中國學者，最近開發了一種名為“FINDER”（發現者）的深度強化學習框架，該框架可以更有效率地識別復雜網絡中的關鍵參與者。該框架中接受了由經典網絡模型生成的一小套合成網絡的訓練，然后應用于實際場景。該最新研究成果論文在發表在今天的《自然》雜志的”機器智能“分刊上。

進行這項研究的高級研究人員之一、哈佛醫學院中國學者、劉養宇（Yang-Yu Liu）說，“這項工作是由網絡科學中的一個基本問題所激發的：我們如何找到最佳的關鍵角色集，這些角色的激活或移除將最大程度地增強或降低網絡功能？” “已經提出了許多近似和啟發式策略來處理特定的應用場景，但是我們仍然缺乏一個統一的框架來有效地解決這個問題。”

該框架代表通過深度強化學習在網絡中尋找關鍵參與者，它以最近開發的深度學習技術為基礎，用于解決組合優化問題。研究人員在由經典網絡模型生成的大量小型合成網絡上對該框架進行了培訓，并使用針對要解決的任務的獎勵函數來指導該框架。這樣的策略指導該框架根據其當前狀態，即當前網絡結構，確定在一段時間內累積最大報酬應該采取的行動，即應選擇的節點。

參與這項研究的另一位資深研究員、加州大學洛杉磯分校中國學者、孫益州（Yizhou Sun）說：“在傳統的強化學習任務中，例如在機器人技術中，代表狀態和動作可能很簡單，而網絡并非如此。” “在進行該項目時，我們面臨的另一個挑戰是確定如何表示網絡，因為它具有離散的數據結構并且位于一個非常高度的空間中。為解決此問題，我們擴展了當前的圖神經網絡來表示節點的動作和圖形的狀態，這是與強化學習任務共同學習的。”

如圖所示尋找在9/11恐怖分子網絡中的關鍵參與者，其中每個節點代表參與9/11攻擊的恐怖分子，邊緣代表他們的社交交流。節點大小與其程度成正比。三種方法：（a）高程度； （b）該深度強化學習框架； （c）集體影響力。藍色節點表示剩余圖中的節點，紅色節點表示在當前時間步確定的關鍵參與者，灰色節點是其余的孤立節點。面板（d）展示了這三種方法的累積歸一化連接曲線，其中的水平軸是已刪除節點的比例，垂直軸是其余的巨型連接組件中節點的比例。

為了有效地表示復雜的網絡，研究人員共同確定了各個網絡狀態和動作的最佳表示，以及當網絡處于特定狀態時確定最佳動作的最佳策略。結果表示可以指導該學習框架識別網絡中的關鍵參與者。

該研究團隊所設計的新框架具有很高的靈活性，因此只需更改其獎勵功能，就可以將其應用于各種現實網絡的分析，非常有效，因為發現它在效率和速度方面都優于許多以前確定網絡中關鍵參與者的策略。還可以輕松擴展該學習框架以分析包含數千個甚至數百萬個節點的廣泛網絡。

研究人員說，“與現有技術相比，該學習框架在尋找復雜網絡關鍵參與者的有效性和效率上均取得了卓越的表現。” “這代表了解決復雜的現實世界網絡上具有挑戰性的優化問題的范式轉變。該學習框架不需要領域特定知識，而只需真實網絡的程度異質性，就可以通過在小型合成圖上僅進行一次離線自訓練來實現此目標，然后令人驚訝地將現實世界網絡的各個領域的規模都大大提高了。”

迄今為止，新的深層加固框架已取得了令人鼓舞的結果。將來，它可用于研究社交網絡、電網、傳染病的傳播以及許多其他類型的網絡。

該團隊的發現強調了經典網絡模型的希望，并從中汲取了靈感。盡管簡單的模型可能看起來非常基礎，但實際上，它們通常捕獲了許多現實世界網絡的主要特征，即程度異質性。當嘗試解決與復雜網絡有關的復雜優化問題時，此功能可能具有巨大的價值。