姓名：陳彥宏? 學號：19011210579

|·?本文為博主原創”·|

【嵌牛導讀】：圖是一種結構化數據，它由一系列的對象（nodes）和關系類型（edges）組成。作為一種非歐幾里得形數據，圖分析被應用到節點分類、鏈路預測和聚類等方向。圖網絡是一種基于圖域分析的深度學習方法，對其構建的基本動機論文中進行了分析闡述。

【嵌牛鼻子】：深度學習、圖神經網絡

【嵌牛提問】：圖神經網絡當今的研究熱點有哪些？

【嵌牛正文】：

主要引用論文鏈接：

Graph Neural Networks: A Review of Methods and Applications

A Comprehensive Survey on Graph Neural Networks

主題：圖神經網絡（Graph neural networks）綜述

整合作者：Reddoge

1 引言

近年來，人工智能領域在科研領域取得了巨大的成功，影響到了人們生活的方方面面，其中，深度學習（Deep learning），作為機器學習的一分子，發展尤為迅速。深度學習將現實世界中的每一個概念都表現為更加抽象的概念來定義，即通過神經網絡來提取樣本特征。在近幾年來，深度學習的發展，對當今的機器學習領域，甚至更廣的科研領域，都產生了深遠的影響。深度學習在多個領域的成功主要歸功于計算資源的快速發展（如 GPU）、大量訓練數據的收集，還有深度學習從歐幾里得數據（如圖像、文本和視頻）中提取潛在表征的有效性。例如卷積神經網絡（Convolutional Neural Networks）可以利用平移不變性、局部連通性和圖像數據語意合成性，從而提取出與整個數據集共享的局部有意義的特征，用于各種圖像分析任務。

深度神經網絡的最新進展推進了模式識別和數據挖掘領域的研究。目標檢測、機器翻譯、語音識別等許多機器學習任務曾高度依賴手工特征工程來提取信息特征集合，但多種端到端深度學習方式（即卷積神經網絡、長短期記憶網絡和自編碼器）改變了這種狀況。

盡管深度學習已經在歐幾里得數據中取得了很大的成功，但從非歐幾里得域生成的數據在目前來看已經取得更廣泛的應用，它們需要有效分析。例如，在電子商務領域，一個基于圖的學習系統能夠利用用戶和產品之間的交互以實現高度精準的推薦。在化學領域，分子被建模為圖，新藥研發需要測定其生物活性。在論文引用網絡中，論文之間通過引用關系互相連接，需要將它們分成不同的類別。

圖數據的復雜性對現有機器學習算法提出了重大挑戰，因為圖數據是不規則的。每張圖大小不同、節點無序，一張圖中的每個節點都有不同數目的鄰近節點，使得一些在圖像中容易計算的重要運算（如卷積）不能再直接應用于圖。此外，現有機器學習算法的核心假設是實例彼此獨立。然而，圖數據中的每個實例都與周圍的其它實例相關，含有一些復雜的連接信息，用于捕獲數據之間的依賴關系，包括引用、友鄰關系和相互作用。

圖是一種結構化數據，它由一系列的對象（nodes）和關系類型（edges）組成。作為一種非歐幾里得形數據，圖分析被應用到節點分類、鏈路預測和聚類等方向。圖網絡是一種基于圖域分析的深度學習方法，對其構建的基本動機論文中進行了分析闡述。

卷積神經網絡（CNN）是GNN起源的首要動機。CNN有能力去抽取多尺度局部空間信息，并將其融合起來構建特征表示。CNN只能應用于常規的歐幾里得數據上（例如2-D的圖片、1-D的文本），這些形式的數據可以被看成是圖的實例化。隨著對GNN和CNN的深入分析，發現其有三個共同的特點：（1）局部連接（2）權值共享（3）多層網絡。這對于GNN來說同樣有重要的意義。（1）局部連接是圖的最基本的表現形式。（2）權值共享可以減少網絡的計算量。（3）多層結構可以讓網絡捕獲不同的特征。然而，從CNN到GNN的轉變還面臨這另一個問題，難以定義局部卷積核和池化操作，這也阻礙了CNN由傳統歐幾里得空間向非歐幾里得空間的擴展。如下圖所示：

圖1 歐幾里得空間圖與非歐幾里得空間圖

最近，越來越多的研究開始將深度學習方法應用到圖數據領域。受到深度學習領域進展的驅動，研究人員在設計圖神經網絡的架構時借鑒了卷積網絡、循環網絡和深度自編碼器的思想。例如，圖2展示了受標準2D卷積啟發得到的圖卷積。為了應對圖數據的復雜性，重要運算的泛化和定義在過去幾年中迅速發展。

圖2 2D卷積與圖卷積

2 研究歷史

2.1 神經網絡研究簡史

神經網絡的概念首先由 Gori 等人（2005）[1] 提出，并由 Scarselli 等人（2009）[2] 進一步闡明。這些早期的研究以迭代的方式通過循環神經架構傳播鄰近信息來學習目標節點的表示，直到達到穩定的固定點。該過程所需計算量龐大，而近來也有許多研究致力于解決這個難題。在本篇綜述中，圖神經網絡代表的是所有用于圖數據的深度學習方法。

受到卷積網絡在計算機視覺領域所獲巨大成功的激勵，近來出現了很多為圖數據重新定義卷積概念的方法。這些方法屬于圖卷積網絡（GCN）的范疇。Bruna等人（2013）提出了關于圖卷積網絡的第一項重要研究，他們基于譜圖論（spectral graph theory）開發了一種圖卷積的變體。自此，基于譜的圖卷積網絡不斷改進、拓展、進階。由于譜方法通常同時處理整個圖，并且難以并行或擴展到大圖上，基于空間的圖卷積網絡開始快速發展。這些方法通過聚集近鄰節點的信息，直接在圖結構上執行卷積。結合采樣策略，計算可以在一個批量的節點而不是整個圖中執行，這種做法有望提高效率。

除了圖卷積網絡，近幾年還開發出了很多替代的圖神經網絡。這些方法包括圖注意力網絡（GAT）、圖自編碼器、圖生成網絡以及圖時空網絡。

2.2 圖神經網絡相關研究

與標準神經網絡不同，圖形神經網絡保留一種狀態，該狀態可以表示來自其鄰域的任意深度的信息。盡管已發現原始GNN難以針對固定點進行訓練，但網絡體系結構，優化技術和并行計算的最新進展已經使得GNN能夠成功地針對固定點進行訓練。近年來，基于圖卷積網絡（GCN）和門控圖神經網絡（GGNN）的系統已經在許多研究領域中展示了突破性的性能。

在有關圖神經網絡的相關研究中，Bronstein等人用符號幾何深度學習概述了非歐幾里得領域的深度學習方法，包括圖和流形。雖然這是對圖卷積網絡的第一次回顧，但這一項研究遺漏了幾個基于空間的重要方法，包括 [3], [4], [5], [6], [7], [8]，這些方法更新了最新的基準。此外，這項調查沒有囊括很多新開發的架構，這些架構的重要性不亞于圖卷積網絡。

對于另一項研究，Battaglia等人[9]將圖網絡定位為從關系數據中學習的構建塊，并在統一的框架下回顧了部分圖神經網絡。然而，他們整體的框架是高度抽象的，失去了每種方法在原論文中的見解。Lee 等人 [10] 對圖注意力模型（一種圖神經網絡）進行了部分調查。最近，Zhang 等人 [11] 提出了一項關于圖深度學習的最新調查，卻忽略了對圖生成網絡和圖時空網絡的研究。

總之，現有的研究很少有對圖神經網絡進行全面的回顧，大多數只覆蓋了部分圖卷積神經網絡且檢查的研究，因此遺漏了圖神經網絡替代方法的最新進展，如圖生成網絡和圖時空網絡。對圖神經網絡的研究與圖嵌入或網絡嵌入緊密相關，這也是數據挖掘和機器學習社區日益關注的一個話題 [12] [13] [14] [15], [16], [17]。網絡嵌入旨在通過保留網絡拓撲架構和節點內容信息，將網絡頂點表示到低維向量空間中，以使任何后續的圖分析任務（如分類、聚類和推薦）都可以通過使用簡單的現成學習機算法（如用于分類的支持向量機）輕松執行。許多網絡嵌入算法都是無監督算法，它們大致可分為三組 [32]，即矩陣分解[18], [19]、隨機游走[20]和深度學習方法。

用于網絡嵌入的深度學習方法同時還有屬于圖神經網絡的范疇，包括基于圖自編碼器的算法（如 DNGR [21] 和 SDNE [22]）和具有無監督訓練的圖卷積神經網絡。圖3描述了網絡嵌入和圖神經網絡的區別。

圖2 網絡嵌入 - 圖神經網絡

3 研究現狀和熱點

3.1 研究現狀

首先，像CNN和RNN這樣的標準神經網絡無法正確處理圖形輸入，因為它們按特定順序堆疊節點的特征。但是，圖中沒有自然的節點順序。為了完整地呈現圖形，我們應該遍歷所有可能的順序作為模型的輸入，如CNN和RNN，這在計算時非常冗余。為了解決這個問題，GNN分別在每個節點上傳播，忽略了節點的輸入順序。換句話說，GNN的輸出對于節點的輸入順序是不變的。

其次，圖中的邊表示兩個節點之間的依賴關系的信息。在標準神經網絡中，依賴信息僅被視為節點的特征。但是，GNN可以通過圖形結構進行傳播，而不是將其用作要素的一部分。通常，GNN通過其鄰域的狀態的加權和來更新節點的隱藏狀態。

第三，推理是高級人工智能的一個非常重要的研究課題，人腦中的推理過程幾乎都是基于從日常經驗中提取的圖形。標準神經網絡已經顯示出通過學習數據分布來生成合成圖像和文檔的能力，同時它們仍然無法從大型實驗數據中學習推理圖。然而，GNN探索從場景圖片和故事文檔等非結構性數據生成圖形，這可以成為進一步高級AI的強大神經模型。最近，已經證明，具有簡單架構的未經訓練的GNN也表現良好[23]。

有關于圖神經網絡存在若干綜合評論種，[24]給出了早期圖神經網絡方法的正式定義，[25]演示了圖神經網絡的近似性質和計算能力，[26]提出統一的網絡框架——MoNet，這個框架將CNN架構推廣到非歐幾里得域（圖和流形），框架可以推廣圖上的幾種譜方法，[27]以及流形上的一些模型[28]，[29],[30]提供了幾何深度學習的全面回顧，提出了它的問題，困難，解決方案，應用和未來方向。

[26]和[30]側重于將卷積推廣到圖形或流形，除此， 圖形神經網絡中還使用了其他機制，如門機制，注意機制和跳過連接。

[31]提出了消息傳遞神經網絡（MPNN），它可以推廣幾種圖形神經網絡和圖形卷積網絡方法。它介紹了通過神經網絡的消息的定義，并展示了它在量子化學中的應用。

[32]提出了非局部神經網絡（NLNN），它統一了幾種“自我關注”式的方法。但是，該模型未在原始論文的圖表中明確定義。關注特定應用領域，[31]和[32]僅舉例說明如何使用其框架推廣其他模型，并且不提供對其他圖神經網絡模型的評論。

[33]提出了圖形網絡（GN）框架。該框架具有很強的推廣其他模型的能力，其關系歸納偏差促進了組合概括，這被認為是人工智能的首要任務。

3.2 研究熱點

圖形神經網絡已經在監督，半監督，無監督和強化學習設置的廣泛問題領域中進行了探索。而在目前看來，相關的研究熱點方向包括了以下三種：

（1）數據具有明確關系的結構場景，如物理系統，分子結構和知識圖。

（2）非結構性場景，關系結構不明確，包括圖像、文本等。

（3）其他應用場景，如生成模型和組合優化問題。

3.2.1 結構場景

1.物理：

對現實世界的物理系統進行建模是理解人類智能的最基本方面之一。通過將對象表示為節點，將關系表示為邊，我們可以以簡化但有效的方式執行關于對象，關系和物理的基于GNN的推理。

[34]提出了交互網絡來預測和推斷各種物理系統。該模型將對象和關系作為輸入，關于它們的相互作用的原因，并應用效果和物理動力學來預測新狀態。它們分別建模以關系為中心和以對象為中心的模型，使得更容易在不同系統中進行推廣。視覺交互網絡可以從像素進行預測。它從每個對象的兩個連續輸入幀中學習狀態代碼。然后，在通過交互網塊添加其交互效果之后，狀態解碼器將狀態代碼轉換為下一步的狀態。

[35]提出了一種基于圖形網絡的模型，它可以執行狀態預測或歸納推理。推理模型將部分觀察到的信息作為輸入，并構造隱式系統分類的隱藏圖。

2.化學與生物學：

分子指紋計算分子指紋，即代表分子的特征向量，是計算機輔助藥物設計的核心步驟。傳統的分子指紋是手工制作和固定的。通過將GNN應用于分子圖，我們可以獲得更好的指紋。[36]提出了通過GCN計算子結構特征向量的神經圖指紋，并求和得到整體表示

數據具有明確關系的結構場景蛋白質界面預測[36]側重于蛋白質界面預測的任務，這是一個具有挑戰性的問題，在藥物發現和設計中具有重要的應用。分別提出了基于GCN的方法學習配體和受體蛋白殘基表示并將它們合并用于成對分類。

GNN也可用于生物醫學工程。通過蛋白質-蛋白質相互作用網絡，[37]利用圖卷積和關系網絡進行乳腺癌亞型分類。[38]也提出了基于GCN的多種藥物副作用預測模型。他們的工作模擬了藥物和蛋白質相互作用網絡，并分別處理不同類型的邊緣。

3.知識圖：

[39]利用GNN來解決知識庫完成（KBC）中的知識庫外（OOKB）實體問題。 [39]中的OOKB實體直接連接到現有實體，因此可以從現有實體聚合OOKB實體的嵌入。該方法在標準KBC設置和OOKB設置中都實現了令人滿意的性能。

[40]利用GCN來解決跨語言知識圖對齊問題。該模型將來自不同語言的實體嵌入到統一的嵌入空間中根據嵌入相似性對齊它們。

3.2.2 非結構性場景

1.圖片:

圖像分類圖像分類是計算機視覺領域中一項非?；A和重要的任務，它引起了很多關注，并有許多著名的數據集，如ImageNet[41]。最近圖像分類的進展受益于大數據和GPU計算的強大功能，這使我們能夠在不從圖像中提取結構信息的情況下訓練分類器。然而，零射擊和少射擊學習在圖像分類領域變得越來越流行，因為大多數模型可以用足夠的數據實現類似的性能。視覺推理計算機視覺系統通常需要通過結合空間和空間來進行推理語義信息。因此，為推理任務生成圖表是很自然的。

典型的視覺推理任務是視覺問題答案（VQA），[42]分別構建圖像場景圖和問題句法圖。然后它應用GGNN來訓練嵌入以預測最終答案。盡管物體之間存在空間聯系，[43]建立了以問題為條件的關系圖。利用知識圖，[44]，[45]可以進行更精細的關系探索和更可解釋的推理過程。

語義分割語義分割是圖像理解的重要一步。這里的任務是為圖像中的每個像素分配唯一的標簽（或類別），這可以被視為密集的分類問題。然而，圖像中的區域通常不是網格狀的并且需要非本地信息，這導致傳統CNN的失敗。一些作品利用圖形結構數據來處理它。[46]提出Graph-LSTM通過建立基于距離的超像素圖形式的圖形以及應用LSTM來全局傳播鄰域信息來模擬長期依賴性以及空間連接。后續工作從編碼分層信息的角度對其進行了改進[47]。

2.文本:

圖神經網絡可以應用于基于文本的若干任務。它可以應用于句子級任務（例如文本分類）以及單詞級任務（例如序列標記）。我們將在下面介紹幾個主要的文本應用程序。文本分類文本分類是自然語言處理中的一個重要且經典的問題。分類GCN模型[48]，[49]，[50]，[51]，[52]和GAT模型[53]應用于解決問題，但他們只使用文檔之間的結構信息，并且他們不使用太多的文本信息。 [54]提出了一種基于圖CNN的深度學習模型，首先將文本轉換為單詞圖形，然后在[55]中使用圖卷積運算來卷積單詞圖。

[56]提出了句子LSTM來編碼文本。它將整個句子視為單個狀態，其由單個詞的子狀態和整個句子級狀態組成。它使用全局句子級別表示來進行分類任務。這些方法要么將文檔或句子視為單詞節點的圖形，要么依賴文檔引用關系來構造圖形。[57]將文檔和單詞視為節點來構建語料庫圖（因此是異構圖），并使用Text GCN來學習單詞和文檔的嵌入。

神經機器翻譯神經機器翻譯任務通常被視為序列到序列任務。[58]介紹了注意機制并取代了最常用的復發或卷積層。實際上，Transformer假設語言實體之間存在完全連接的圖形結構。

事件提取事件提取是一項重要的信息提取任務，用于識別文本中指定類型事件的實例。 [59]基于依賴樹來研究一個卷積神經網絡（確切地說是語法GCN）來執行事件檢測。

[60]提出了一個聯合多事件提取（JMEE）框架，通過引入句法快捷方式弧來共同提取多個事件觸發器和參數，以增強基于注意力的圖卷積網絡的信息流，以模擬圖形信息。

3.2.3 其他熱點

1.生成模型：

現實世界圖的生成模型已經引起了人們對其重要應用的重視，包括模擬社會交互，發現新的化學結構和構建知識圖。由于深度學習方法具有強大的學習圖的隱式分布的能力，最近神經圖生成模型出現了激增。

NetGAN是第一個構建神經圖生成模型的工作之一，它通過隨機游走生成圖形。它將圖形生成的問題轉化為步行生成問題，該問題將來自特定圖形的隨機游走作為輸入，并使用GAN架構訓練步行生成模型。雖然生成的圖保留了重要的拓撲性質在原始圖中，節點的數量在生成過程中無法改變，這與原始圖相同。

GraphRNN設法通過逐步生成每個節點的鄰接向量來生成圖的鄰接矩陣，其可以輸出具有不同節點數的所需網絡。

MolGAN不是依次生成鄰接矩陣，而是立即預測離散圖結構（鄰接矩陣），并利用置換不變判別器來解決鄰接矩陣中的節點變異問題。此外，它還將基于RL的優化獎勵網絡應用于所需的化學性質。

2.組合優化：

圖中的組合優化問題是NP難問題的集合，引起了各個領域科學家的廣泛關注。旅行商問題（TSP）和最小生成樹（MST）等一些具體問題得到了各種啟發式解決方案。最近，使用深度神經網絡來解決這些問題已成為熱點，并且由于其圖形結構，一些解決方案進一步利用圖形神經網絡。

[61]首先提出了一種解決TSP的深度學習方法。他們的方法由兩部分組成：用于參數化獎勵的指針網絡和用于訓練的政策梯度模塊。事實證明，這項工作可與傳統方法相媲美。但是，指針網絡設計用于文本等順序數據，而順序不變編碼器更適合此類工作。

[62]通過包括圖神經網絡改進了方法。他們首先從structure2ve獲取節點嵌入，這是GCN的變體，然后將它們提供給Q學習模塊以進行決策。這項工作比以前的算法獲得了更好的性能，證明了圖神經網絡的表示能力。

[63]提出了一種基于注意力的編碼器 - 解碼器算法。這種方法可以被視為圖形注意網絡，其讀出階段是基于注意力的解碼器而不是強化學習模塊，這在理論上對于訓練是有效的。

[64]專注于二次分配問題，即測量兩個圖的相似性?；贕NN的模型獨立地學習每個圖的節點嵌入，并使用注意機制匹配它們。即使在基于標準松弛的技術似乎受到影響的制度中，該方法也提供了令人驚訝的良好性能。

4 下一步研究趨勢

4.1 加深網絡

深度學習的成功在于深度神經架構。例如在圖像分類中，模型ResNet具有152層。但在圖網絡中，實證研究表明，隨著網絡層數增加，模型性能急劇下降。根據論文[65]，這是由于圖卷積的影響，因為它本質上推動相鄰節點的表示更加接近彼此，所以理論上，通過無限次卷積，所有節點的表示將收斂到一個點。這導致了一個問題：加深網絡是否仍然是學習圖結構數據的好策略？

4.2 感受野

節點的感受野是指一組節點，包括中心節點和其近鄰節點。節點的近鄰（節點）數量遵循冪律分布。有些節點可能只有一個近鄰，而有些節點卻有數千個近鄰。盡管采用了采樣策略 [66],[67],[68]，但如何選擇節點的代表性感受野仍然有待探索。

4.3 可擴展性

大部分圖神經網絡并不能很好地擴展到大型圖上。主要原因是當堆疊一個圖卷積的多層時，節點的最終狀態涉及其大量近鄰節點的隱藏狀態，導致反向傳播變得非常復雜。雖然有些方法試圖通過快速采樣和子圖訓練來提升模型效[66], [68]，但它們仍無法擴展到大型圖的深度架構上。

4.4 動態性和異質性

大多數當前的圖神經網絡都處理靜態同質圖。一方面，假設圖架構是固定的。另一方面，假設圖的節點和邊來自同一個來源。然而，這兩個假設在很多情況下是不現實的。在社交網絡中，一個新人可能會隨時加入，而之前就存在的人也可能退出該社交網絡。在推薦系統中，產品可能具有不同的類型，而其輸出形式也可能不同，也許是文本，也許是圖像。因此，應當開發新方法來處理動態和異質圖結構。

5 總結

在過去幾年中，圖形神經網絡已成為圖域中機器學習任務的強大而實用的工具。這一進展歸功于表現力，模型靈活性和訓練算法的進步。對于GNN模型，本文總結了幾個通用框架，以統一表示不同的變體。在研究熱點方面，本文將GNN應用程序劃分為結構場景，非結構場景和其他場景，然后對每個場景中具體熱點進行了討論研究。最后，本文提出了下一步研究趨勢，指出了圖神經網絡的主要挑戰和未來研究方向，包括模型深度，可擴展性，處理動態圖和非結構場景的能力。

6 參考文獻

[1] M. Gori, G. Monfardini, and F. Scarselli, “A new model for learning in graph domains,” in Proceedings of the International Joint Conference on Neural Networks, vol. 2. IEEE, 2005, pp. 729–734.

[2] A. Micheli, “Neural network for graphs: A contextual construc-tive approach,” IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498–511, 2009.

[3] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks,” in Proceedings of the International Conference on Learning Representations, 2017.

[4] Y. Li, D. Tarlow, M. Brockschmidt, and R. Zemel, “Gated graph sequence neural networks,” in Proceedings of the International Conference on Learning Representations, 2015.

[5] R. Levie, F. Monti, X. Bresson, and M. M. Bronstein, “Cayleynets: Graph convolutional neural networks with complex rational spectral filters,” IEEE Transactions on Signal Processing, vol. 67, no. 1, pp. 97–109, 2017.

[6] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 5115–5124.

[7] M. Niepert, M. Ahmed, and K. Kutzkov, “Learning convolutional neural networks for graphs,” in Proceedings of the International Conference on Machine Learning, 2016, pp. 2014–2023.

[8] H. Gao, Z. Wang, and S. Ji, “Large-scale learnable graph convolu-tional networks,” in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 2018, pp. 1416–1424.

[9] J. Zhang, X. Shi, J. Xie, H. Ma, I. King, and D.-Y. Yeung, “Gaan: Gated attention networks for learning on large and spatiotem-poral graphs,” in Proceedings of the Uncertainty in Artificial Intelli-gence, 2018.

[10] P. W. Battaglia, J. B. Hamrick, V. Bapst, A. Sanchez-Gonzalez, V.Zambaldi, M. Malinowski, A. Tacchetti, D. Raposo, A. Santoro, R.Faulkner et al., “Relational inductive biases, deep learning, and graph networks,” arXiv preprint arXiv:1806.01261, 2018.

[11] J. B. Lee, R. A. Rossi, S. Kim, N. K. Ahmed, and E. Koh, “Attention models in graphs: A survey,” arXiv preprint arXiv:1807.07984, 2018.

[12] Z. Zhang, P. Cui, and W. Zhu, “Deep learning on graphs: A survey,” arXiv preprint arXiv:1812.04202, 2018.

[13] P. Cui, X. Wang, J. Pei, and W. Zhu, “A survey on network em-bedding,” IEEE Transactions on Knowledge and Data Engineering, 2017.

[14] W. L. Hamilton, R. Ying, and J. Leskovec, “Representation learn-ing on graphs: Methods and applications,” in Advances in Neural Information Processing Systems, 2017, pp. 1024–1034.

[15] D. Zhang, J. Yin, X. Zhu, and C. Zhang, “Network representation learning: A survey,” IEEE Transactions on Big Data, 2018.

[16] H. Cai, V. W. Zheng, and K. Chang, “A comprehensive survey of graph embedding: problems, techniques and applications,” IEEE Transactions on Knowledge and Data Engineering, 2018.

[17] P. Goyal and E. Ferrara, “Graph embedding techniques, applica-tions, and performance: A survey,” Knowledge-Based Systems, vol. 151, pp. 78–94, 2018.

[18] S. Pan, J. Wu, X. Zhu, C. Zhang, and Y. Wang, “Tri-party deep network representation,” in Proceedings of the International Joint Conference on Artificial Intelligence. AAAI Press, 2016, pp. 1895– 1901.

[19] X. Shen, S. Pan, W. Liu, Y.-S. Ong, and Q.-S. Sun, “Discrete network embedding,” in Proceedings of the International Joint Con-ference on Artificial Intelligence, 7 2018, pp. 3549–3555.

[20] H. Yang, S. Pan, P. Zhang, L. Chen, D. Lian, and C. Zhang, “Binarized attributed network embedding,” in IEEE International Conference on Data Mining. IEEE, 2018.

[21] B. Perozzi, R. Al-Rfou, and S. Skiena, “Deepwalk: Online learning of social representations,” in Proceedings of the ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014, pp. 701–710.

[22] S. Cao, W. Lu, and Q. Xu, “Deep neural networks for learning graph representations,” in Proceedings of the AAAI Conference on Artificial Intelligence, 2016, pp. 1145–1152.

[23] T. Kawamoto, M. Tsubaki, and T. Obuchi, “Mean-field theory of graph neural networks in graph partitioning,” in NeurIPS 2018, 2018, pp. 4366–4376.

[24] F. Scarselli, M. Gori, A. C. Tsoi, M. Hagenbuchner, and G. Monfardini, “The graph neural network model,” IEEE TNN 2009, vol. 20, no. 1, pp. 61–80, 2009.

[25] “Computational capabilities of graph neural networks,”IEEE TNN 2009, vol. 20, no. 1, pp. 81–102, 2009.

[26] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” CVPR 2017, pp. 5425–5434, 2017.

[27] J. Atwood and D. Towsley, “Diffusion-convolutional neural networks,” in NIPS 2016, 2016, pp. 1993–2001.

[28] J. Masci, D. Boscaini, M. Bronstein, and P. Vandergheynst,“Geodesic convolutional neural networks on riemannian manifolds,” in ICCV workshops 2015, pp. 37–45.

[29] D. Boscaini, J. Masci, E. Rodola, and M. Bronstein, “Learning ` shape correspondence with anisotropic convolutional neural networks,” in NIPS 2016, 2016, pp. 3189–3197.

[30] M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, and P. Vandergheynst, “Geometric deep learning: going beyond euclideandata,” IEEE SPM 2017, vol. 34, no. 4, pp. 18–42, 2017.

[31] J. Gilmer, S. S. Schoenholz, P. F. Riley, O. Vinyals, and G. E. Dahl, “Neural message passing for quantum chemistry,” arXiv preprint arXiv:1704.01212, 2017.

[32] X. Wang, R. Girshick, A. Gupta, and K. He, “Non-local neural networks,” arXiv preprint arXiv:1711.07971, vol. 10, 2017.

[33] P. W. Battaglia, J. B. Hamrick, V. Bapst, A. Sanchez-Gonzalez, V. Zambaldi, M. Malinowski, A. Tacchetti, D. Raposo, A. Santoro, R. Faulkner et al., “Relational inductive biases, deep learning, and graph networks,” arXiv preprint arXiv:1806.01261, 2018.

[34] P. Battaglia, R. Pascanu, M. Lai, D. J. Rezende et al., “Interaction networks for learning about objects, relations and physics,” in NIPS 2016, 2016, pp. 4502–4510.

[35] A. Sanchez-Gonzalez, N. Heess, J. T. Springenberg, J. Merel, M. Riedmiller, R. Hadsell, and P. Battaglia, “Graph networks as learnable physics engines for inference and control,” arXiv preprint arXiv:1806.01242, 2018.

[36] D. K. Duvenaud, D. Maclaurin, J. Aguileraiparraguirre, R. Gomezbombarelli, T. D. Hirzel, A. Aspuruguzik, and R. P. Adams, “Convolutional networks on graphs for learning molecular fingerprints,” NIPS 2015, pp. 2224–2232, 2015.

[37] S. Rhee, S. Seo, and S. Kim, “Hybrid approach of relation network and localized graph convolutional filtering for breast cancer subtype classification,” arXiv preprint arXiv:1711.05859, 2017.

[38] M. Zitnik, M. Agrawal, and J. Leskovec, “Modeling polypharmacy side effects with graph convolutional networks,” arXiv preprint arXiv:1802.00543, 2018.

[39] T. Hamaguchi, H. Oiwa, M. Shimbo, and Y. Matsumoto, “Knowledge transfer or out-of-knowledge-base entities : A graph neural network approach,” in IJCAI 2017, 2017, pp. 1802–1808.

[40] Z. Wang, Q. Lv, X. Lan, and Y. Zhang, “Cross-lingual knowledge graph alignment via graph convolutional networks,” in EMNLP 2018, 2018, pp. 349–357.

[41] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein et al., “Imagenet large scale visual recognition challenge,” IJCV 2015, vol. 115, no. 3, pp. 211–252, 2015.

[42] D. Teney, L. Liu, and A. van den Hengel, “Graph-structured representations for visual question answering,” arXiv preprint, 2017.

[43] W. Norcliffe-Brown, S. Vafeias, and S. Parisot, “Learning conditioned graph structures for interpretable visual question answering,” in NeurIPS 2018, 2018, pp. 8344–8353.

[44] Z. Wang, T. Chen, J. Ren, W. Yu, H. Cheng, and L. Lin, “Deep reasoning with knowledge graph for social relationship understanding,” arXiv preprint arXiv:1807.00504, 2018.

[45] M. Narasimhan, S. Lazebnik, and A. Schwing, “Out of the box: Reasoning with graph convolution nets for factual visual question answering,” in NeurIPS 2018, 2018, pp. 2659–2670.

[46] X. Liang, X. Shen, J. Feng, L. Lin, and S. Yan, “Semantic object parsing with graph lstm,” ECCV 2016, pp. 125–143, 2016

[47] X. Liang, L. Lin, X. Shen, J. Feng, S. Yan, and E. P. Xing, “Interpretable structure-evolving lstm,” in CVPR 2017, 2017, pp. 2175–2184

[48] W. L. Hamilton, Z. Ying, and J. Leskovec, “Inductive representation learning on large graphs,” NIPS 2017, pp. 1024–1034, 2017.

[49] T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” ICLR 2017, 2017

[50] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” CVPR 2017, pp. 5425–5434, 2017.

[51] J. Atwood and D. Towsley, “Diffusion-convolutional neural networks,” in NIPS 2016, 2016, pp. 1993–2001.

[52] M. Henaff, J. Bruna, and Y. Lecun, “Deep convolutional networks on graph-structured data.” arXiv: Learning, 2015.

[53] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks,” ICLR 2018, 2018

[54] H. Peng, J. Li, Y. He, Y. Liu, M. Bao, L. Wang, Y. Song, and Q. Yang, “Large-scale hierarchical text classification with recursively regularized deep graph-cnn,” in WWW 2018, 2018, pp. 1063–1072.

[55] M. Niepert, M. Ahmed, and K. Kutzkov, “Learning convolutional neural networks for graphs,” in ICML 2016, 2016, pp. 2014–2023

[56] Y. Zhang, Q. Liu, and L. Song, “Sentence-state lstm for text representation,” ACL 2018, vol. 1, pp. 317–327, 2018.

[57] L. Yao, C. Mao, and Y. Luo, “Graph convolutional networks for text classification,” arXiv preprint arXiv:1809.05679, 2018.

[58] A. Vaswani, N. Shazeer, N. Parmar, L. Jones, J. Uszkoreit, A. N. Gomez, and L. Kaiser, “Attention is all you need,” NIPS 2017, pp. 5998–6008, 2017.

[59] T. H. Nguyen and R. Grishman, “Graph convolutional networks with argument-aware pooling for event detection,” 2018

[60] X. Liu, Z. Luo, and H. Huang, “Jointly multiple events extraction via attention-based graph information aggregation,” arXiv preprint arXiv:1809.09078, 2018.

[61] I. Bello, H. Pham, Q. V. Le, M. Norouzi, and S. Bengio, “Neural combinatorial optimization with reinforcement learning,” arXiv preprint arXiv:1611.09940, 2016.

[62] E. Khalil, H. Dai, Y. Zhang, B. Dilkina, and L. Song, “Learning combinatorial optimization algorithms over graphs,” in NIPS 2017, 2017, pp. 6348–6358.

[63] W. Kool and M. Welling, “Attention solves your tsp,” arXiv preprint arXiv:1803.08475, 2018.

[64] A. Nowak, S. Villar, A. S. Bandeira, and J. Bruna, “Revised note on learning quadratic assignment with graph neural networks,” in IEEE DSW 2018. IEEE, 2018, pp. 1–5.

[65] D. Zugner, A. Akbarnejad, and S. G ¨ unnemann, “Adversarial ¨ attacks on neural networks for graph data,” in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2018, pp. 2847–2856.

[66] R. Levie, F. Monti, X. Bresson, and M. M. Bronstein, “Cayleynets: Graph convolutional neural networks with complex rational spectral filters,” IEEE Transactions on Signal Processing, vol. 67, no. 1, pp. 97–109, 2017.

[67] F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, and M. M. Bronstein, “Geometric deep learning on graphs and manifolds using mixture model cnns,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 5115–5124.

[68] M. Niepert, M. Ahmed, and K. Kutzkov, “Learning convolutional neural networks for graphs,” in Proceedings of the International Conference on Machine Learning, 2016, pp. 2014–2023