火爆出圈的“最強 AI”

  網絡滲透測試     |      2023-03-23 12:03


火爆出圈的“最強 AI”



前言

近期 ChatGPT 爆火,其對傳統文字工作的效率提高及總結能力讓使用者驚艷。緊隨其后 CodeGPT 這樣基于 GPT 的插件出現,也充分體現了其對代碼編寫效率的提高。而最新 GPT-4 的發布,是否可以應用到對區塊鏈 、Solidity 智能合約的審計中呢?

基于這樣的疑問,我們進行了多種可行性測試。

測試環境及測試方法

測試使用的對比模型對象:GPT-3.5(Web), GPT-3.5-turbo-0301, GPT-4(Web)。

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

代碼片段使用 Prompt:Help me discover vulnerabilities in this Solidity smart contract.

漏洞代碼片段的檢測對比

在此部分,我們分三次測試,使用歷史上常見的漏洞代碼作為測試一和測試二的用例,來驗證其對基礎漏洞的檢測能力,測試三中使用中等難度的漏洞代碼作為測試用例。

測試一

用例:《智能合約安全審計入門篇 —— Phishing with tx.origin》

漏洞代碼:

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

(1)對 GPT 進行提問:

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

(2)GPT-3.5(Web) answer

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

(3)GPT-3.5-turbo-0301 answer

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

(4)GPT-4(Web) answer

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

可以看到結果:3 個測試版本都發現了關鍵的 tx.origin 相關問題。

測試二

用例:《智能合約安全審計入門篇 —— 溢出漏洞》

漏洞代碼:

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

(1)對?GPT?進行提問:

火爆出圈的“最強 AI” —— GPT 是否可用于合約安全審計?

(2)GPT-3.5(Web) answer