來(lái)源：https://linkurious.com/blog/graph-based-intelligence-analysis/

https://linkurious.com/graph-analytics/

幾十年來(lái)，情報(bào)界一直在收集和分析信息，為情報(bào)消費(fèi)者提供及時(shí)和可操作的見(jiàn)解。但隨著信息收集量的增加，分析師在數(shù)據(jù)處理和分析方面面臨著新的挑戰(zhàn)。在本文中，我們探討了圖形技術(shù)為情報(bào)分析提供的可能性。

一、大數(shù)據(jù)時(shí)代的情報(bào)收集與分析

數(shù)字時(shí)代為情報(bào)、監(jiān)視和偵察帶來(lái)了新的可能性，包括傳統(tǒng)的和新的情報(bào)來(lái)源。在每個(gè)規(guī)程中收集的可能性已經(jīng)擴(kuò)大了。例如，開(kāi)源情報(bào)(OSINT)的收集渠道隨著互聯(lián)網(wǎng)的發(fā)展而增多，提供了獲取新的有價(jià)值信息的途徑。數(shù)字技術(shù)的普及也擴(kuò)大了生產(chǎn)，從而擴(kuò)大了收集的可能性，用戶(hù)從世界任何地方的便攜設(shè)備生成和共享內(nèi)容。

但這些變化也讓分析師付出了代價(jià):

1、更多的數(shù)據(jù)需要額外的處理工作，因?yàn)槲刺幚淼臄?shù)據(jù)是不可利用的，因此沒(méi)有價(jià)值。新數(shù)據(jù)不斷被收集，需要定期更新和處理。

2、一旦處理，這些數(shù)據(jù)收集通常是相當(dāng)大的。這使得相關(guān)數(shù)據(jù)的識(shí)別變得復(fù)雜和緩慢，甚至當(dāng)標(biāo)簽或索引沒(méi)有完美完成時(shí)，識(shí)別甚至是不可能的。

3、數(shù)據(jù)分散在不同的豎井中。它有各種各樣的格式和類(lèi)型，處理方式各不相同。這種多樣性使多元智能或全源分析變成了一項(xiàng)乏味的任務(wù):當(dāng)不同工具中存在兩個(gè)、十個(gè)或一百個(gè)數(shù)據(jù)片段時(shí)，如何將它們聯(lián)系起來(lái)?

這對(duì)分析有直接的影響。處理那些龐大的、動(dòng)態(tài)的和各種各樣的數(shù)據(jù)資產(chǎn)是困難和耗時(shí)的。與此同時(shí)，威脅的復(fù)雜性仍然不變。為了識(shí)別它們，分析人員必須能夠交叉檢查各種數(shù)據(jù)資產(chǎn)，以便發(fā)現(xiàn)將產(chǎn)生可操作情報(bào)的關(guān)鍵元素和模式。

二、圖形技術(shù)支持情報(bào)分析

為了更新和改進(jìn)傳統(tǒng)的情報(bào)周期，情報(bào)制作者正在轉(zhuǎn)向新的工具和方法。在這些工具中，我們發(fā)現(xiàn)了圖形技術(shù)。底層方法允許分析人員快速訪(fǎng)問(wèn)相關(guān)數(shù)據(jù)，并在大型異構(gòu)集合中篩選，以找到包含高價(jià)值信息的小子集。

圖技術(shù)方法依賴(lài)于將數(shù)據(jù)作為網(wǎng)絡(luò)處理的模型。信息以節(jié)點(diǎn)的形式存儲(chǔ)，通過(guò)表示節(jié)點(diǎn)之間關(guān)系的邊相互連接。這實(shí)際上是一種思考情報(bào)數(shù)據(jù)的自然方式:無(wú)論是人、電信還是事件，這些元素通常形成相互連接的網(wǎng)絡(luò)。

1、圖形數(shù)據(jù)庫(kù):在單個(gè)模型中收集數(shù)據(jù)

圖或RDF數(shù)據(jù)庫(kù)為存儲(chǔ)連接的數(shù)據(jù)進(jìn)行了優(yōu)化。它的出現(xiàn)是為了解決傳統(tǒng)數(shù)據(jù)庫(kù)的局限性。關(guān)系數(shù)據(jù)庫(kù)的設(shè)計(jì)目的是編纂和存儲(chǔ)表格結(jié)構(gòu)。雖然它們?cè)谶@方面做得很好，但當(dāng)涉及到處理大量連接數(shù)據(jù)時(shí)，它們的表現(xiàn)并不好。另一方面，在連接數(shù)據(jù)方面，圖形數(shù)據(jù)庫(kù)比傳統(tǒng)技術(shù)有幾個(gè)優(yōu)勢(shì):

性能:這些系統(tǒng)被設(shè)計(jì)用來(lái)處理數(shù)據(jù)關(guān)系，在查詢(xún)數(shù)據(jù)連接時(shí)，它們極大地提高了性能。

靈活性:圖形數(shù)據(jù)庫(kù)很容易適應(yīng)快速縮放的數(shù)據(jù)。隨著組織需求的發(fā)展，您可以豐富或更改數(shù)據(jù)體系結(jié)構(gòu)。

流行的圖形存儲(chǔ)供應(yīng)商包括JanusGraph或Neo4j。這些系統(tǒng)在過(guò)去十年中得到了廣泛的開(kāi)發(fā)，響應(yīng)了對(duì)大規(guī)模使用連接數(shù)據(jù)的組織的技術(shù)解決方案日益增長(zhǎng)的需求。

通過(guò)圖形技術(shù)，您可以組合多維數(shù)據(jù)，包括時(shí)間序列、人口或地理數(shù)據(jù)。它將來(lái)自多個(gè)來(lái)源和格式的數(shù)據(jù)聚合成一個(gè)單一的、全面的數(shù)據(jù)模型，可以擴(kuò)展到數(shù)十億個(gè)節(jié)點(diǎn)和邊。

這在多情報(bào)或全源分析識(shí)別可疑模式、異常或不正常行為中是必不可少的。事實(shí)上，當(dāng)您分析實(shí)體之間的動(dòng)態(tài)而不僅僅是單個(gè)實(shí)體的特征時(shí)，更容易發(fā)現(xiàn)可疑活動(dòng)。通過(guò)這種方法，分析人員可以輕松地在一個(gè)視圖中收集和分析關(guān)于人、事件和位置的數(shù)據(jù)。

最后，圖形技術(shù)為情報(bào)和執(zhí)法機(jī)構(gòu)提供了幾個(gè)優(yōu)勢(shì)。它提供一個(gè)單一入口點(diǎn)，指向集成在唯一模型下的多個(gè)數(shù)據(jù)源和數(shù)據(jù)類(lèi)型。分析人員可以從異構(gòu)數(shù)據(jù)及其連接的分析中產(chǎn)生情報(bào)。

在組織中引入圖形數(shù)據(jù)庫(kù)會(huì)帶來(lái)一系列新的挑戰(zhàn)。如何讓分析師以合適的方式訪(fǎng)問(wèn)數(shù)據(jù)?如何使他們能夠發(fā)現(xiàn)隱藏在數(shù)十億節(jié)點(diǎn)和關(guān)系的復(fù)雜網(wǎng)絡(luò)中的信息?這就是圖形可視化和分析工具派上用場(chǎng)的地方。

2、圖形可視化和分析平臺(tái)

雖然圖的方法提供了一個(gè)統(tǒng)一的模型，但對(duì)分析人員來(lái)說(shuō)，發(fā)現(xiàn)巨大的數(shù)據(jù)量仍然是一個(gè)挑戰(zhàn)。除此之外，還必須加上情報(bào)消費(fèi)者的壓力，他們希望分析師及時(shí)提供情報(bào)見(jiàn)解。

正如我們前面所解釋的，可視化工具對(duì)于調(diào)查來(lái)說(shuō)是一筆巨大的資產(chǎn)。

（1）他們是無(wú)代碼;

（2）它們能提高你的效率，因?yàn)槲覀兊拇竽X理解圖像的速度要快于理解文本或圖形;

（3）這些工具也增加了發(fā)現(xiàn)洞察力的機(jī)會(huì)。

當(dāng)您處理連接的數(shù)據(jù)時(shí)，圖形可視化和分析無(wú)疑是一種比傳統(tǒng)的分析電子表格或存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)更有效的方法。

此外，圖分析還提供了一套有價(jià)值的方法來(lái)從連接的數(shù)據(jù)中獲得見(jiàn)解。例如，有許多算法，源自圖論和社會(huì)網(wǎng)絡(luò)分析，可用于識(shí)別社區(qū)，發(fā)現(xiàn)高度連接的個(gè)人或理解通過(guò)網(wǎng)絡(luò)的信息流。

Linkurious Enterprise等圖形調(diào)查工具是情報(bào)分析人員面對(duì)大數(shù)據(jù)挑戰(zhàn)的額外資產(chǎn)。這些工具的設(shè)計(jì)目的是讓分析師利用圖形數(shù)據(jù)庫(kù)的力量發(fā)現(xiàn)隱藏在復(fù)雜數(shù)據(jù)集中的見(jiàn)解，它們還提供了比內(nèi)部工具或復(fù)雜的專(zhuān)有平臺(tái)(如i2或Palantir)更敏捷的靈活性。

在威脅檢測(cè)和調(diào)查方面，圖形調(diào)查工具降低了處理數(shù)據(jù)的性質(zhì)和數(shù)量所帶來(lái)的復(fù)雜性和噪聲。

三、用Linkurious Enterprise收集情報(bào)

在Linkurious Enterprise中，具有不同數(shù)據(jù)源或多種實(shí)體類(lèi)型的復(fù)雜數(shù)據(jù)域成為一個(gè)單一的、綜合的圖。分析師可以直觀地調(diào)查大量的數(shù)據(jù)收集。他們可以從基于瀏覽器的界面中搜索已知的模式和可疑的鏈接。數(shù)據(jù)過(guò)濾器和視覺(jué)樣式幫助他們專(zhuān)注于重要的東西，并減少大量數(shù)據(jù)產(chǎn)生的噪音。

下面，我們使用OSINT數(shù)據(jù)展示了Linkurious Enterprise的一些可視化和分析功能。我們使用了一個(gè)公開(kāi)的數(shù)據(jù)集，全球恐怖主義數(shù)據(jù)庫(kù)。我們將部分?jǐn)?shù)據(jù)(從2013年到2016年)按照一個(gè)簡(jiǎn)單的圖模型建模為一個(gè)圖數(shù)據(jù)庫(kù)。

然后，使用腳本將數(shù)據(jù)導(dǎo)入圖形數(shù)據(jù)庫(kù)(有幾種不同的選項(xiàng)來(lái)建模和導(dǎo)入數(shù)據(jù))。我們的數(shù)據(jù)庫(kù)包含約90,000個(gè)節(jié)點(diǎn)和240,000個(gè)關(guān)系，這些都可以在Linkurious Enterprise中進(jìn)行調(diào)查。

1、數(shù)據(jù)調(diào)查

分析人員可以使用全文搜索功能來(lái)查找數(shù)據(jù)庫(kù)中的特定信息。只需點(diǎn)擊幾下鼠標(biāo)，就可以將2013年至2016年間發(fā)生在法國(guó)的所有恐怖襲擊可視化。棕色和綠色的節(jié)點(diǎn)分別代表法國(guó)的省和城市。每個(gè)藍(lán)色節(jié)點(diǎn)代表一個(gè)城市記錄的恐怖主義行為。當(dāng)作者被知道時(shí)，他們被一個(gè)黃色的節(jié)點(diǎn)象征，與事件聯(lián)系在一起。

底層的圖結(jié)構(gòu)使我們能夠更好地理解事件。連接和不同類(lèi)別的數(shù)據(jù)(事件、位置、人員)提供了一些有助于分析的上下文信息。例如，通過(guò)查看節(jié)點(diǎn)集群和關(guān)系，我們可以確定:

恐怖主義活動(dòng)在法國(guó)一直很重要;

自2015年以來(lái)，法蘭西島一直是恐怖主義的主要目標(biāo);

沙拉菲圣戰(zhàn)組織(ISIS、ISIL、基地組織等)的活動(dòng)一直很重要，尤其是在巴黎地區(qū);

科西嘉地區(qū)在很大程度上受到恐怖主義行為的影響;

南方某些特定地區(qū)是發(fā)生事件的主要地區(qū)。

從這個(gè)快速生成的可視化中，我們能夠確定法國(guó)的主要恐怖主義趨勢(shì)(伊斯蘭恐怖主義的崛起，地方?jīng)_突和民族主義運(yùn)動(dòng))。在現(xiàn)實(shí)生活中，專(zhuān)業(yè)的情報(bào)分析人員可以根據(jù)對(duì)沖突和恐怖主義數(shù)據(jù)的分析，提供準(zhǔn)確的報(bào)告。

2、地理空間可視化

圖模型支持異構(gòu)數(shù)據(jù)的聚合，因此可以用地理空間信息豐富我們的OSINT數(shù)據(jù)。在我們的例子中，每個(gè)“事件”節(jié)點(diǎn)都帶有地理位置屬性，允許我們?cè)贚inkurious Enterprise內(nèi)部的地圖上顯示它們。下面是一個(gè)地理空間可視化的例子，地圖上的事件用紅色節(jié)點(diǎn)表示，代表了2014年一個(gè)月的恐怖活動(dòng)。

在情報(bào)團(tuán)隊(duì)中，此功能用于跟蹤在一個(gè)區(qū)域內(nèi)短時(shí)間內(nèi)發(fā)生的一系列事件。對(duì)于訓(xùn)練有素的分析師來(lái)說(shuō)，一連串的動(dòng)態(tài)事件是一種已知的模式，能夠識(shí)別出相關(guān)性和潛在的恐怖主義策略。

3、模式檢測(cè)

圖形數(shù)據(jù)庫(kù)的優(yōu)勢(shì)在于，它們?cè)试S您快速遍歷大量的實(shí)體和關(guān)系以檢索信息。與基于關(guān)系數(shù)據(jù)庫(kù)的系統(tǒng)相比，這是一個(gè)很大的變化，在關(guān)系數(shù)據(jù)庫(kù)中，查詢(xún)連接是計(jì)算和內(nèi)存密集型操作，成本是指數(shù)級(jí)的。有了Linkurious Enterprise，我們就可以利用圖形數(shù)據(jù)庫(kù)的強(qiáng)大功能來(lái)搜索特定的場(chǎng)景，比如“這兩個(gè)看似毫無(wú)關(guān)聯(lián)的恐怖組織之間是否有聯(lián)系，如果有聯(lián)系，又是如何聯(lián)系的?””。對(duì)于情報(bào)分析人員來(lái)說(shuō)，這可以幫助識(shí)別關(guān)鍵的個(gè)人，將一系列事件與人聯(lián)系起來(lái)，或了解一個(gè)組織內(nèi)的工作動(dòng)態(tài)。結(jié)合他們的知識(shí)和經(jīng)驗(yàn)，在連接數(shù)據(jù)中發(fā)現(xiàn)模式是進(jìn)行情報(bào)分析的額外資產(chǎn)。

下面是一個(gè)通過(guò)圖形查詢(xún)生成的可視化示例，它匹配了2013年以來(lái)世界上最致命的10起襲擊，以及它們與組織、城市和地點(diǎn)的聯(lián)系。

在Linkurious Enterprise中，模式檢測(cè)可以作為警報(bào)實(shí)現(xiàn)自動(dòng)化。這減少了分析人員的工作量，因?yàn)槠脚_(tái)可以自動(dòng)監(jiān)控大量數(shù)據(jù)，以發(fā)現(xiàn)隱藏的連接和復(fù)雜的模式。

四、展望

在我們的示例中，我們?cè)谟邢薜臅r(shí)間內(nèi)從單個(gè)數(shù)據(jù)源創(chuàng)建了數(shù)據(jù)庫(kù)。但是，根據(jù)您想要回答的問(wèn)題，可以從其他來(lái)源添加數(shù)據(jù)來(lái)豐富數(shù)據(jù)庫(kù)。例如，您可以添加來(lái)自電話(huà)攔截或金融交易的數(shù)據(jù)，以識(shí)別攻擊之間的潛在關(guān)系。

除了我們剛才看到的，分析人員還可以使用高級(jí)圖表分析，這是一套專(zhuān)門(mén)設(shè)計(jì)用來(lái)在關(guān)聯(lián)數(shù)據(jù)中發(fā)現(xiàn)深刻見(jiàn)解的方法。例如，有許多源自圖論的算法，可以用來(lái)識(shí)別社區(qū)，發(fā)現(xiàn)在網(wǎng)絡(luò)中占據(jù)關(guān)鍵位置的人，或理解信息、金錢(qián)或人員如何在網(wǎng)絡(luò)中流動(dòng)。

最后，圖技術(shù)使情報(bào)分析人員能夠應(yīng)對(duì)大數(shù)據(jù)時(shí)代帶來(lái)的變化。在處理、存儲(chǔ)和分析今天收集的復(fù)雜數(shù)據(jù)方面，它是一種資產(chǎn)。雖然圖形數(shù)據(jù)庫(kù)非常適合在一個(gè)地方聚合和連接大量資源，但Linkurious Enterprise可以幫助分析團(tuán)隊(duì)輕松地找到大型圖形中隱藏的智能。它突出了數(shù)據(jù)之間的聯(lián)系，使分析人員能夠更好地理解和分析復(fù)雜的情況。在一天結(jié)束的時(shí)候，分析師可以更好地利用他們的數(shù)據(jù)來(lái)產(chǎn)生高價(jià)值的見(jiàn)解。