ChatGPT 在威脅檢測領域的應用及潛在風險

  網絡滲透測試     |      2023-03-27 06:32

事件響應分類和軟件漏洞發現是大型語言模型成功的兩個領域,盡管誤報很常見。

ChatGPT 在威脅檢測領域的應用及潛在風險

ChatGPT 是一個開創性的聊天機器人,由基于神經網絡的語言模型 text-davinci-003 提供支持,并在來自互聯網的大型文本數據集上進行訓練。它能夠生成各種樣式和格式的類似人類的文本。ChatGPT 可以針對特定任務進行微調,例如回答問題、總結文本,甚至解決與網絡安全相關的問題,例如,生成事件報告或解釋反編譯代碼。安全研究人員和人工智能黑客都對 ChatGPT 產生了興趣,嘗試探索 LLM 的弱點,而其他研究人員以及網絡犯罪分子則試圖將 LLM 引誘到黑暗面,將其設置為產生力工具,用于生成更好的網絡釣魚電子郵件或生成惡意軟件。已經有一些案例表明不法分子已經嘗試利用 ChatGPT 生成惡意對象,例如,網絡釣魚電子郵件,甚至多態惡意軟件。

安全分析師的許多實驗都在表明,流行的大型語言模型(LLM)ChatGPT 可能有助于幫助網絡安全防御者分類潛在的安全事件并發現代碼中的安全漏洞,即使人工智能(AI)模型沒有專門針對此類活動進行訓練。

在對 ChatGPT 作為事件響應工具的實用程序的分析中,安全分析師發現 ChatGPT 可以識別在受感染系統上運行的惡意進程。通過使用 Meterpreter 和 PowerShell Empire 代理感染了一個系統,以對手的角色采取了共同的步驟,然后對系統運行了 ChatGPT 驅動的惡意程序掃描器。LLM 識別出系統上運行的兩個惡意進程,并正確忽略了 137 個良性進程,利用 ChatGPT 在很大程度上減少了開銷。

安全研究人員也在研究通用語言模型如何在特定的防御相關任務上執行。去年 12 月,數字取證公司 Cado Security 使用 ChatGPT 分析來自真實安全事件的 JSON 數據創建了黑客入侵的時間表,從而生成了一份很好的但并不完全準確的報告。安全咨詢公司 NCC Group 則嘗試使用 ChatGPT 作為查找代碼漏洞的一種方式,雖然 ChatGPT 確實做到了,但漏洞識別并不總是很準確。

從實際的使用來看,安全分析師,開發人員和逆向工程師在使用 LLM 時需要小心,特別是對于超出其能力范圍的任務。安全咨詢公司 NCC Group 的首席科學家 Chris Anley 說," 我絕對認為專業開發人員和其他使用代碼開展工作的人應該探索 ChatGPT 和類似的模型,但更多的是為了靈感,而不是絕對正確的事實結果," 他說,并補充說 " 安全代碼審查不是我們應該使用 ChatGPT 的事情,所以期望它第一次就完美是不公平的。"

使用 AI 分析 IoC

安全和威脅研究通常會以報告、演示文稿、博客文章、推文和其他類型的內容的形式公開披露其調查結果(對手指標、戰術、技術和程序)。

ChatGPT 在威脅檢測領域的應用及潛在風險

因此,我們最初決定檢查 ChatGPT 對威脅研究的了解,以及它是否可以幫助識別簡單的、眾所周知的對手工具,如 Mimikatz 和快速反向代理,并發現常見的重命名策略。輸出看起來很有希望!

ChatGPT 在威脅檢測領域的應用及潛在風險

那么對于經典的入侵指標,例如眾所周知的惡意哈希和域名 ChatGPT 能回答正確嗎?不幸的是,在我們的快速實驗中,ChatGPT 無法產生令人滿意的結果:它未能識別 Wannacry 的知名哈希值(哈希:5bef35496fcbdbe841c82f4d1ab8b7c2 ) .

ChatGPT 在威脅檢測領域的應用及潛在風險

對于多個 APT 活動使用的域名,ChatGPT 生成了一個基本相同的域名列表并提供了 APT 攻擊者的描述,我們可能對有些域名一無所知?

ChatGPT 在威脅檢測領域的應用及潛在風險

至于 FIN7 使用的域名,chatGPT 正確地將它們歸類為惡意域名,盡管它給出的原因是," 域名很可能是試圖欺騙用戶相信它是一個合法的域名 ",而不是有眾所周知的入侵指標。

ChatGPT 在威脅檢測領域的應用及潛在風險

雖然最后一個針對模仿知名網站域名的實驗給出了一個有趣的結果,但還需要更多的研究:很難說為什么 ChatGPT 對基于主機的安全事件產生的結果要比對域名和哈希等簡單指標的結果更好。某些過濾器可能已應用于訓練數據集,或者如果以不同的方式構建問題本身(定義良好的問題就是解決了一半的問題?。?/p>