人工智能+黑客=? 細(xì)思極恐……
人工智能+黑客=? 細(xì)思極恐……
【AI世代編者按】隨著政府機(jī)構(gòu)開始把安全重點(diǎn)轉(zhuǎn)向具備自學(xué)能力的自動(dòng)化系統(tǒng),網(wǎng)絡(luò)安全人士也開始紛紛擔(dān)心黑客對(duì)這些系統(tǒng)產(chǎn)生的影響,這甚至成為了他們最大的擔(dān)憂。
科技網(wǎng)站GCN近日撰文稱,人工智能技術(shù)的發(fā)展對(duì)網(wǎng)絡(luò)安全構(gòu)成了挑戰(zhàn),因?yàn)榕c防御者相比,黑客更容易操縱機(jī)器學(xué)習(xí)算法,從而獲得自己想要的結(jié)果。
根據(jù)維基百科的解釋,對(duì)抗性機(jī)器學(xué)習(xí)(Adversarial machine learning,以下簡(jiǎn)稱“AML”)是一個(gè)“機(jī)器學(xué)習(xí)與計(jì)算機(jī)安全的交叉學(xué)科……其目的是在垃圾信息過濾、惡意軟件監(jiān)測(cè)和生物特征識(shí)別等對(duì)抗性設(shè)置中安全部署機(jī)器學(xué)習(xí)技術(shù)?!?/p>
據(jù)賓夕法尼亞州立大學(xué)谷歌(微博)安全項(xiàng)目博士尼古拉斯·帕珀諾特(Nicolas Papernot)介紹,AML希望在對(duì)抗性環(huán)境中應(yīng)用機(jī)器學(xué)習(xí)算法后,能夠更好地理解這些算法——所謂對(duì)抗性設(shè)置,指的是“任何一個(gè)讓攻擊者因?yàn)樨?cái)務(wù)動(dòng)機(jī)或其他動(dòng)機(jī)而迫使機(jī)器學(xué)習(xí)算法采取不端行為的設(shè)置。”
“可惜的是,現(xiàn)在的機(jī)器學(xué)習(xí)模型有著很大的攻擊面,因?yàn)樗鼈兊脑O(shè)計(jì)和訓(xùn)練過程都是為了獲得良好的平均表現(xiàn),但未必考慮過最差表現(xiàn)。從安全角度來看,這往往是最容易受到攻擊的?!迸羚曛Z特說。正因如此,這些系統(tǒng)很容易遭受通用攻擊——無論使用何種機(jī)器學(xué)習(xí)模型,也無論需要解決哪些任務(wù),這類攻擊都會(huì)經(jīng)常發(fā)起。
范德堡大學(xué)電氣工程和計(jì)算機(jī)科學(xué)教授葉夫提尼·沃羅貝琴科(Yevgeniy Vorobeychik)指出,雖然包括美國(guó)國(guó)防部及其下屬的DARPA在內(nèi)的政府機(jī)構(gòu)“達(dá)到了我們學(xué)術(shù)界所達(dá)不到的復(fù)雜度”,但AML只是這一領(lǐng)域的一個(gè)開始。例如,很多國(guó)家和地區(qū)政府以及執(zhí)法機(jī)構(gòu)都在“認(rèn)真考慮”用這種技術(shù)來預(yù)測(cè)犯罪活動(dòng)。
馬里蘭大學(xué)助理教授都鐸·杜米特拉斯(Tudor A. Dumitras)表示,在公共領(lǐng)域,機(jī)器學(xué)習(xí)可以有很多用途,包括“網(wǎng)絡(luò)攻擊防御技術(shù);分析天文觀測(cè)或能源部大型實(shí)驗(yàn)等項(xiàng)目的科研數(shù)據(jù);生物學(xué)和醫(yī)學(xué)研究;開發(fā)犯罪預(yù)測(cè)模型,用于制定假釋或量刑決策?!边@些系統(tǒng)都很容易遭受AML攻擊。
為了說明這個(gè)問題,杜米特拉斯指出,網(wǎng)絡(luò)防御系統(tǒng)必須把各種活動(dòng)或信息(包括可執(zhí)行程序、網(wǎng)絡(luò)流量或電子郵件)區(qū)分為善意和惡意兩種模式。
為了達(dá)到這個(gè)目的,機(jī)器學(xué)習(xí)算法需要首先學(xué)習(xí)一些已知的善意和惡意例子,以此作為起點(diǎn),進(jìn)一步在沒有預(yù)定描述信息的情況下學(xué)習(xí)惡意活動(dòng)的模式。
“聰明的攻擊者可以顛覆這些技術(shù),使之產(chǎn)生壞的結(jié)果?!彼f。廣泛來看,杜米特拉斯認(rèn)為攻擊者可以采取以下三種方式:
——通過操縱例子攻擊訓(xùn)練模型,導(dǎo)致機(jī)器學(xué)習(xí)算法給某些案例添加錯(cuò)誤的標(biāo)簽,或者學(xué)會(huì)被曲解的模型。
——通過尋找代碼漏洞攻擊實(shí)施過程。
——利用機(jī)器學(xué)習(xí)算法的“黑盒子”特性。
“因此,用戶可能會(huì)發(fā)現(xiàn),這種模型也有盲點(diǎn)。他們也有可能發(fā)現(xiàn),這種模型的基礎(chǔ)是人為操縱的數(shù)據(jù),而非有意義的特征?!倍琶滋乩拐f,“因?yàn)闄C(jī)器學(xué)習(xí)往往會(huì)給出惡意或善意判斷,但卻不會(huì)透露這種結(jié)論背后的邏輯。”
AML興起
AML在公共和執(zhí)法領(lǐng)域的重要性逐漸提升,原因在于計(jì)算機(jī)科學(xué)家“在機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)足夠成熟,可以在很多有挑戰(zhàn)的任務(wù)中讓機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)優(yōu)異表現(xiàn),有時(shí)候能超過入類?!迸羚曛Z特說,“因此,機(jī)器學(xué)習(xí)在很多應(yīng)用領(lǐng)域普及開來,而且逐步成為網(wǎng)絡(luò)安全領(lǐng)域的新穎候選方案?!?/p>
然而,帕珀諾特表示,只要存在沒有被完全理解的缺陷——例如借助対抗性案例找到的那些缺陷——就很難信任機(jī)器學(xué)習(xí)模型給出的預(yù)測(cè)。
杜米特拉斯表示,過去10年發(fā)現(xiàn)了很多專門針對(duì)機(jī)器學(xué)習(xí)發(fā)起的攻擊?!半m然攻擊者必須解決的問題從理論上看非常困難,但很明顯,完全有可能針對(duì)多數(shù)實(shí)用系統(tǒng)找到實(shí)用的攻擊方法。”他說。
例如,黑客已經(jīng)知道如何入侵基于機(jī)器學(xué)習(xí)的探測(cè)器;知道如何破壞訓(xùn)練過程,從而產(chǎn)生他們想要的結(jié)果;知道如何通過反復(fù)索取的方式來竊取專有機(jī)器學(xué)習(xí)模型;還知道如何對(duì)模型進(jìn)行調(diào)整,從而學(xué)習(xí)用戶的隱私信息。
與此同時(shí),如何防御這些攻擊仍然沒有確定方案。“已知的防御方式寥寥無幾,”杜米特拉斯說,“而且通常只針對(duì)具體的攻擊模式,一旦攻擊者調(diào)整戰(zhàn)略,這些方法就會(huì)失效?!?/p>
例如,他指出,“假新聞”的傳播就會(huì)影響政府的公信力。假新聞的傳播面——尤其是在Facebook、Twitter或谷歌上傳播的假新聞——會(huì)因?yàn)橛脩舻狞c(diǎn)擊、評(píng)論或點(diǎn)贊而擴(kuò)大。這種行為構(gòu)成了“一種毒害,使得推薦引擎使用了并不可靠的數(shù)據(jù),有可能推廣更多假新聞?!彼f。
AML的興起“導(dǎo)致好人面臨一場(chǎng)極不對(duì)稱的戰(zhàn)爭(zhēng)……壞人卻可從中受益?!敝悄馨踩続nomali首席數(shù)據(jù)科學(xué)家伊萬·懷特(Evan Wright)說,“好人要被迫阻止一些問題?!?/p>
然而,“好人”也并非完全不走運(yùn)。帕珀諾特表示,通過主動(dòng)地確定其機(jī)器學(xué)習(xí)算法的缺陷,政府機(jī)構(gòu)和執(zhí)法部門可以向前邁出一大步,逐步繪制自己的攻擊面圖形。他建議這些機(jī)構(gòu)先從cleverhans這樣的軟件開始,這個(gè)Phython庫可以用于確定機(jī)器學(xué)習(xí)系統(tǒng)暴露給對(duì)抗性例子的缺陷。
“一旦部署了機(jī)器學(xué)習(xí)模型,使得攻擊者可以與之互動(dòng)——即便只是通過API等有限的方式——那就應(yīng)該假設(shè)有動(dòng)機(jī)的攻擊者有能力對(duì)該模型展開反向工程,甚至針對(duì)其訓(xùn)練時(shí)使用的數(shù)據(jù)展開反向工程。”帕珀諾特說。因此,他建議政府機(jī)構(gòu)和執(zhí)法部門密切關(guān)注與模型訓(xùn)練有關(guān)的隱私成本。
沃羅貝琴科建議公共領(lǐng)域的IT專家在這個(gè)問題上先行一步,考慮所有潛在缺陷,并針對(duì)他們可能使用的機(jī)器學(xué)習(xí)算法展開全面的攻擊演習(xí)。“”他說,“全面的攻擊演習(xí)對(duì)于測(cè)試這些自動(dòng)化程度更高的工具大有裨益。”
雖然系統(tǒng)化的解決方案經(jīng)?!靶枰槍?duì)攻擊者設(shè)定不切實(shí)際的假設(shè)?!倍琶滋乩拐f,但卻有可能在具體的案例中阻止AML攻擊。不過,仍然需要開發(fā)出有效的防御手段。例如,他認(rèn)為,如果攻擊者“不能向機(jī)器學(xué)習(xí)系統(tǒng)發(fā)出請(qǐng)求,無法訪問訓(xùn)練集,不知道系統(tǒng)的設(shè)計(jì)或其使用的特征,而且無法接觸實(shí)施過程,那就很難制作對(duì)抗性樣本?!?/p>
但杜米特拉斯也補(bǔ)充道,這些假設(shè)通常不切實(shí)際。因?yàn)楹芏嗾到y(tǒng)都使用了開源機(jī)器學(xué)習(xí)庫,而攻擊者可以隨意查看其中的代碼,從而尋找可供利用的漏洞?!霸谶@種情況下,很多人可能希望通過不透明的方式來實(shí)現(xiàn)安全性,盡可能隱藏跟系統(tǒng)運(yùn)作方式有關(guān)的信息。”他說,“但最近的黑盒子攻擊表明,只需要掌握很少的系統(tǒng)信息,便可制作出有效的對(duì)抗性樣本?!?/p>
對(duì)輸入的數(shù)據(jù)進(jìn)行“消毒”同樣可以發(fā)揮作用,因?yàn)檫@樣做便有可能在把惡意數(shù)據(jù)提供給機(jī)器學(xué)習(xí)算法之前將其識(shí)別出來,但人工消毒無法大規(guī)模部署?!皻w根到底,還是需要開發(fā)出有效的防御模式來預(yù)防對(duì)抗性機(jī)器學(xué)習(xí)攻擊。”(編譯/長(zhǎng)歌)
繼續(xù)閱讀與本文標(biāo)簽相同的文章