●序●

如果說，早期人們對(duì)AI技術(shù)的能力還抱有些許質(zhì)疑的話，那么2016年Google公司AlphaGo的橫空出世，則讓普羅大眾對(duì)AI技術(shù)的看法有了耳目一新的變化，越來越多的AI技術(shù)被應(yīng)用到各行各業(yè)中，帶來商業(yè)繁榮的同時(shí)也帶來了人們更多的擔(dān)憂。

在AI技術(shù)的加持之下，我們的生活在不知不覺中不斷發(fā)生著從量變到質(zhì)變的迭代。我們通過AI技術(shù)賦能的內(nèi)容平臺(tái)可以更深入地了解世界和自己，同時(shí)也承擔(dān)著信息繭房之傷害。我們通過AI技術(shù)賦能的商業(yè)平臺(tái)獲得更多的便捷性，同時(shí)也被大數(shù)據(jù)殺熟等副作用包圍。

我們被AI計(jì)算，同時(shí)也被AI算計(jì)。

隨著AI技術(shù)在各類商業(yè)、業(yè)務(wù)模式中的廣泛應(yīng)用，身為安全從業(yè)者的我們不得不對(duì)這一古老而又新鮮的技術(shù)模式加以重視。到底AI 技術(shù)會(huì)給安全行業(yè)帶來哪些巨變？

多年以前，我和我的團(tuán)隊(duì)在安全工作中遇到過一個(gè)特殊的黑產(chǎn)團(tuán)伙，該團(tuán)伙讓我們青睞有加的原因在于，其在相關(guān)的攻防場(chǎng)景里，用了當(dāng)時(shí)頗為流行的Caffe深度學(xué)習(xí)框架和卷積神經(jīng)網(wǎng)絡(luò)，這使得他們同其他競(jìng)爭(zhēng)者相比攻擊效率有了數(shù)倍的提升。

盡管這個(gè)黑產(chǎn)團(tuán)伙后來被及時(shí)打掉，但這也讓我們意識(shí)到一個(gè)事實(shí)在未來的日子里，AI技術(shù)必將是安全戰(zhàn)場(chǎng)攻防兩端的兵家必爭(zhēng)之地。

從那時(shí)候起，我的團(tuán)隊(duì)就開始在AI安全方面做大量細(xì)致、深入的探索研究工作，我們的嘗試和實(shí)踐主要覆蓋以下幾個(gè)方面。

（1）AI技術(shù)本身的安全性。

（2）AI技術(shù)為攻擊提效。

（3）AI技術(shù)為防守助力。

（4）AI技術(shù)之以攻促防，攻防聯(lián)動(dòng)。

我們走過一些彎路，也有過一些收獲。我們參考了很多前輩和行業(yè)專家的經(jīng)驗(yàn)成果，也分享過一些小小的發(fā)現(xiàn)。而正是在這個(gè)探索過程中，我們意識(shí)到，前輩們的探索經(jīng)驗(yàn)和研究成果，為我們所進(jìn)行的安全研究工作帶來了諸多的便捷性。

所以，本著繼承和發(fā)揚(yáng)前輩們的開放、協(xié)作和共享精神，我們也將工作中的點(diǎn)滴進(jìn)行了總結(jié)與歸納，把研究歷程中的一些經(jīng)驗(yàn)沉淀下來形成本書。

本書的重點(diǎn)將錨定在AI安全發(fā)展的通用技術(shù)上，包括對(duì)抗樣本攻擊、數(shù)據(jù)投毒攻擊、模型后門攻擊、預(yù)訓(xùn)練模型中的風(fēng)險(xiǎn)與防御、AI數(shù)據(jù)隱私竊取攻擊，以及AI 應(yīng)用失控等方面。本書對(duì)各類攻擊方法及其技術(shù)原理進(jìn)行了分析，并詳細(xì)介紹了基于不同算法和數(shù)據(jù)實(shí)驗(yàn)的實(shí)現(xiàn)過程和案例總結(jié)，基本保持了原汁原味，以便志同道合的讀者朋友們進(jìn)行參考，這也算是我和我的團(tuán)隊(duì)為AI安全工作盡的一些綿薄之力。

我們深知，一方面，安全和技術(shù)的發(fā)展都日新月異、持續(xù)更新和迭代，本書中一些內(nèi)容和知識(shí)點(diǎn)隨著時(shí)間的推移都會(huì)逐漸過時(shí)、落伍，所以我們也會(huì)繼續(xù)不斷探索、保持更新。另一方面，也希望通過我們的管中窺豹來拋磚引玉，通過本書結(jié)識(shí)更多志同道合的朋友。

我始終相信，科技的力量會(huì)讓人類文明更加美好，雖道阻且長(zhǎng)，但行則將至，行而不輟，未來可期。我和團(tuán)隊(duì)的小伙伴們會(huì)繼續(xù)努力，也歡迎有興趣的讀者朋友們一起探討、共同研究，攜手體驗(yàn)AI安全探索的奇妙之旅。

楊勇 騰訊安全平臺(tái)部負(fù)責(zé)人

●前言●

騰訊安全朱雀實(shí)驗(yàn)室于2019年開始著手AI安全的研究工作，涉及對(duì)抗樣本攻擊、模型安全、AI應(yīng)用失控等多個(gè)領(lǐng)域。在技術(shù)研究和實(shí)踐過程中，我們走過許多彎路，也嘗過成功的喜悅，這在一定程度上凝結(jié)成了此書的大部分內(nèi)容，特與讀者分享。

回顧最初的探索，我們是從對(duì)抗樣本開始的，在多個(gè)場(chǎng)景中實(shí)現(xiàn)通過輕微篡改來欺騙AI 模型，并嘗試將技術(shù)成果在騰訊業(yè)務(wù)場(chǎng)景中找到落腳點(diǎn)。然而，在實(shí)踐過程中，多次實(shí)驗(yàn)表明對(duì)抗樣本的遷移性有限，即基于A模型生成的對(duì)抗樣本很難在B模型上發(fā)揮作用。2019年年底，我們轉(zhuǎn)而研究如何生成遷移性更好的對(duì)抗樣本，并在一些學(xué)術(shù)會(huì)議和安全會(huì)議上分享了我們的研究成果及經(jīng)驗(yàn)，如ECCV、CanSecWest等。和大多數(shù)AI 研究遇到的問題一樣，實(shí)驗(yàn)室的研究成果在產(chǎn)業(yè)落地上往往力不從心。

2020年以來，朱雀實(shí)驗(yàn)室在相關(guān)技術(shù)積累的基礎(chǔ)上，拓寬AI 安全研究領(lǐng)域，涉及模型安全、AI濫用、AI倫理等，同時(shí)構(gòu)建和完善AI安全藍(lán)圖，進(jìn)一步探索技術(shù)的應(yīng)用落地。

在模型安全研究方面，我們分別在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI領(lǐng)域會(huì)議上分享非數(shù)據(jù)投毒式的模型后門攻擊研究成果，驗(yàn)證了攻擊在掌握少量模型信息的情況下，通過對(duì)網(wǎng)絡(luò)參數(shù)的精準(zhǔn)修改重建出模型后門的可能性，這進(jìn)一步揭示了算法模型的脆弱性。

在AI應(yīng)用失控方面，我們圍繞深度偽造帶來的潛在安全風(fēng)險(xiǎn)問題，一方面，從攻擊的角度出發(fā)，去揭露一些安全風(fēng)險(xiǎn)問題；另一方面，從防御的角度出發(fā)，去落地一些用于深度偽造檢測(cè)的工具，并連續(xù)兩年在安全會(huì)議上分享工作成果。除此之外，我們?cè)谡Z音攻擊、文本攻擊等不同的領(lǐng)域也做了大量的實(shí)驗(yàn)工作。

在同AI算法打交道的過程中，我們發(fā)現(xiàn)，現(xiàn)階段基于深度學(xué)習(xí)的系統(tǒng)是較容易遭到對(duì)抗樣本攻擊的。一方面，業(yè)務(wù)側(cè)以功能需求為第一要?jiǎng)?wù)，安全防御方面的工作相對(duì)滯后，通常在出現(xiàn)攻擊案例后才會(huì)進(jìn)行分析和調(diào)整，而且這種修補(bǔ)過程并不像傳統(tǒng)網(wǎng)絡(luò)安全漏洞修補(bǔ)的過程，需要不斷調(diào)整訓(xùn)練數(shù)據(jù)和優(yōu)化訓(xùn)練過程，實(shí)施過程的成本較高；另一方面，AI算法的建立過程并沒有引入安全環(huán)節(jié)把控，理論上攻擊方法非常豐富，即使AI系統(tǒng)僅提供API級(jí)別的交互服務(wù)，攻擊者也可以通過模型竊取攻擊方式來擬合線上模型決策結(jié)果，建立一個(gè)本地的白盒模型，再在白盒模型的基礎(chǔ)上進(jìn)行遷移攻擊，進(jìn)而影響線上模型。

總體來看，當(dāng)前階段攻擊方法走在了防御方法的前面，我們可以通過總結(jié)各種攻擊方法來尋找有效的防御手段，同時(shí)可以把網(wǎng)絡(luò)安全領(lǐng)域的防御思想加到AI系統(tǒng)的建設(shè)上來，在系統(tǒng)的研發(fā)過程中引入SDL規(guī)范，如增加敏感數(shù)據(jù)檢測(cè)、適當(dāng)進(jìn)行對(duì)抗樣本訓(xùn)練、進(jìn)行軟件層面的庫(kù)和框架及時(shí)更新等。

AI安全是一項(xiàng)新技術(shù)，在多個(gè)層面都需要考慮安全問題。本書第1章是對(duì)AI安全發(fā)展的概要性介紹；第2～3章從數(shù)據(jù)層面討論對(duì)抗樣本、數(shù)據(jù)樣本的安全問題；第4～5章從模型層面討論模型后門和預(yù)訓(xùn)練模型的安全問題；第6～7章從應(yīng)用角度討論隱私竊取和應(yīng)用失控問題。同時(shí)，在闡述過程中我們精選多個(gè)實(shí)戰(zhàn)案例，力求把數(shù)據(jù)、算法、模型、應(yīng)用等層面的安全問題向讀者展示出來。

AI安全的發(fā)展在未來勢(shì)必會(huì)迎來更加嚴(yán)峻的挑戰(zhàn)，我們將自己的研究成果在本書中進(jìn)行分享，敬請(qǐng)讀者批評(píng)指正。希望能借此書，與同行共同推動(dòng)AI安全的發(fā)展和進(jìn)步。最后衷心感謝電子工業(yè)出版社所給予的支持。感謝付出了大量時(shí)間和精力完成本書的同事，他們是楊勇、朱季峰、唐夢(mèng)云、徐京徽、宋軍帥、李兆達(dá)、駱克云。

騰訊安全朱雀實(shí)驗(yàn)室