全球今亮點(diǎn)!BDS國家工程中心:目前大型語言模型普遍面臨提示注入攻擊安全風(fēng)險

2023-07-06 20:20:23


【資料圖】

7月6日,大數(shù)據(jù)協(xié)同安全技術(shù)國家工程研究中心(BDS國家工程中心)官網(wǎng)發(fā)布國內(nèi)首份《大語言模型提示注入攻擊安全風(fēng)險分析報告》。報告面向大語言模型的提示注入攻擊和防御技術(shù)展開研究,并通過構(gòu)建了包含36000條的提示注入攻擊驗(yàn)證數(shù)據(jù)的數(shù)據(jù)集,覆蓋3類典型攻擊方法和6類安全場景,用于對大語言模型的提示注入攻擊風(fēng)險測評。測評結(jié)果顯示,目前的大型語言模型普遍面臨提示注入攻擊安全風(fēng)險,包括在自動問答系統(tǒng)中誤導(dǎo)用戶,或者通過對話系統(tǒng)中的輸入操縱回答結(jié)果。報告指出,提示注入攻擊已成大模型安全威脅之首,建議從安全測評、安全防御、安全監(jiān)測預(yù)警等方面,多維度提升大模型的安全性。

(文章來源:界面新聞)

標(biāo)簽:

關(guān)閉
新聞速遞