機(jī)器之心發(fā)布

作者：之江實(shí)驗(yàn)室

當(dāng)前，生成式大模型已經(jīng)為學(xué)術(shù)研究甚至是社會(huì)生活帶來(lái)了深刻的變革，以 ChatGPT 為代表，生成式大模型的能力已經(jīng)顯示了邁向通用人工智能的可能性。但同時(shí)，研究者們也開(kāi)始意識(shí)到 ChatGPT 等生成式大模型面臨著數(shù)據(jù)和模型方面的安全隱患。

【資料圖】

今年 5 月初，美國(guó)白宮與谷歌、微軟、OpenAI、Anthropic 等 AI 公司的 CEO 們召開(kāi)集體會(huì)議，針對(duì) AI 生成技術(shù)的爆發(fā)，討論技術(shù)背后隱藏的風(fēng)險(xiǎn)、如何負(fù)責(zé)任地開(kāi)發(fā)人工智能系統(tǒng)，以及制定有效的監(jiān)管措施。國(guó)內(nèi)的生成式大模型技術(shù)也正在發(fā)展之中，但是同時(shí)也需要先對(duì)安全問(wèn)題進(jìn)行相應(yīng)的分析以便雙管齊下，避免生成式大模型這把雙刃劍帶來(lái)的隱藏危害。

為此，之江實(shí)驗(yàn)室基礎(chǔ)理論研究院人工智能與安全團(tuán)隊(duì)首次全面總結(jié)了 ChatGPT 為代表的生成式大模型的安全與隱私問(wèn)題白皮書(shū)，希望能夠?yàn)閺氖掳踩珕?wèn)題研究的技術(shù)人員指明方向，同時(shí)也為 AI 相關(guān)政策的制定者提供依據(jù)。

白皮書(shū)鏈接： https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy

生成式大模型的發(fā)展與重要應(yīng)用

這份白皮書(shū)首先總結(jié)了 ChatGPT 與 GPT4 等生成式大模型的發(fā)展歷程，以及其帶來(lái)的各種令人驚嘆的能力和社會(huì)變革、社會(huì)應(yīng)用等。作者列舉了 ChatGPT 和 GPT4 出現(xiàn)之前的 GPT-1、GPT-2、GPT-3、Google Bert 等模型的特點(diǎn)以及缺點(diǎn)，這些缺點(diǎn)與 ChatGPT 和 GPT4 的強(qiáng)大能力形成了對(duì)比；并且，ChatGPT 和 GPT4 之后又涌現(xiàn)了一大批的模型，包括 LLaMa、Alpaca、文心一言、通義千問(wèn)等，它們的出現(xiàn)使得在人機(jī)交互、資源管理、科學(xué)研究、內(nèi)容創(chuàng)作等應(yīng)用領(lǐng)域出現(xiàn)了新的、強(qiáng)有力的工具。但同時(shí)也出現(xiàn)了包括數(shù)據(jù)安全，使用規(guī)范、可信倫理、知識(shí)產(chǎn)權(quán)以及模型安全方面的問(wèn)題。

數(shù)據(jù)安全問(wèn)題

白皮書(shū)提出，數(shù)據(jù)的安全和隱私是 ChatGPT 及 GPT4 等生成式大模型使用和研發(fā)過(guò)程中一個(gè)極為重要的問(wèn)題，并從「顯式」和「隱式」兩個(gè)方面對(duì)其進(jìn)行了分析。

在顯式的信息泄漏中，首先，ChatGPT 等生成式大模型的訓(xùn)練數(shù)據(jù)在不經(jīng)意間被轉(zhuǎn)換成了生成內(nèi)容，其中就包括了敏感和隱私的個(gè)人信息如銀行卡賬號(hào)、病例信息等。此外，ChatGPT 的數(shù)據(jù)安全和隱私隱患還體現(xiàn)在它對(duì)于對(duì)話框內(nèi)容的存儲(chǔ)，當(dāng)用戶在和 ChatGPT 互動(dòng)時(shí)，他們的信息會(huì)以某些形式被記錄和存儲(chǔ)下來(lái)。

白皮書(shū)還提出了之前被大家忽略的隱式信息泄漏問(wèn)題。首先，ChatGPT 體現(xiàn)出的數(shù)據(jù)安全和隱私的隱患是它可能通過(guò)對(duì)對(duì)話框數(shù)據(jù)的收集進(jìn)行廣告推薦，以及收集對(duì)話框數(shù)據(jù)進(jìn)行推薦或者其他的下游機(jī)器學(xué)習(xí)任務(wù)，且 ChatGPT 有時(shí)候可能也會(huì)生成虛假的信息，以此來(lái)誘導(dǎo)用戶泄漏一系列的數(shù)據(jù)。

使用規(guī)范問(wèn)題

在白皮書(shū)中，作者提到 ChatGPT 和 GPT4 等生成式大模型強(qiáng)大的理解和生成能力雖然為我們的生活和生產(chǎn)帶來(lái)了很多的便利，但是同時(shí)也存在更多的機(jī)會(huì)被惡意使用。在沒(méi)有規(guī)范約束的情況下，惡意使用將帶來(lái)很多的社會(huì)性問(wèn)題。

其一，ChatGPT 和 GPT-4 等模型的強(qiáng)大能力使得某些別有用心的人想要將其作為違法活動(dòng)的工具。例如用戶可以利用 ChatGPT 來(lái)編寫(xiě)詐騙短信和釣魚(yú)郵件，甚至開(kāi)發(fā)代碼，按需生成惡意軟件和勒索軟件等，而無(wú)需任何編碼知識(shí)和犯罪經(jīng)驗(yàn)。

其二，ChatGPT 和 GPT4 等生成式大模型沒(méi)有把不同地區(qū)的法律規(guī)范考慮在內(nèi)，在使用和輸出的過(guò)程中可能會(huì)違反當(dāng)?shù)胤煞ㄒ?guī)，因此需要一個(gè)強(qiáng)而有力的當(dāng)?shù)乇O(jiān)管系統(tǒng)來(lái)檢測(cè)其使用是否與當(dāng)?shù)胤煞ㄒ?guī)相沖突。

其三，對(duì)于一些游離于安全和危險(xiǎn)之間的灰色地帶，ChatGPT 等生成式大模型的安全能力還沒(méi)有得到增強(qiáng)。例如 ChatGPT 可能會(huì)輸出一些誘導(dǎo)性的語(yǔ)句，包括跟抑郁癥患者溝通時(shí)候可能會(huì)輸出某些語(yǔ)句導(dǎo)致其產(chǎn)生輕生的心態(tài)。

可信倫理問(wèn)題

ChatGPT 等生成式大模型以問(wèn)答形態(tài)存在于社會(huì)層面，但其回復(fù)往往存在不可信，或者無(wú)法判斷其正確的問(wèn)題，會(huì)有似是而非的錯(cuò)誤答案，甚至對(duì)現(xiàn)有社會(huì)倫理產(chǎn)生沖擊。

白皮書(shū)指出，首先 ChatGPT 等生成式大模型的回復(fù)可能是在一本正經(jīng)地胡說(shuō)八道，語(yǔ)句通暢貌似合理，但其實(shí)完全大相徑庭，目前模型還不能提供合理的證據(jù)進(jìn)行可信性的驗(yàn)證。例如，ChatGPT 可能會(huì)對(duì)一些歷史、科學(xué)、文化等方面的問(wèn)題回答錯(cuò)誤或者與事實(shí)相悖，甚至可能會(huì)造成誤導(dǎo)或者誤解，需要用戶有自己的鑒別能力。

ChatGPT 等生成式大模型的倫理問(wèn)題也在白皮書(shū)中被詳細(xì)討論。即使 OpenAI 等研發(fā)機(jī)構(gòu)已經(jīng)使用 ChatGPT 本身生成了他們的道德準(zhǔn)則，但其中的道德準(zhǔn)則是否符合我國(guó)國(guó)情的基本價(jià)值觀原則，尚未有定論。作者提出其中存在傳播有害意識(shí)形態(tài)、傳播偏見(jiàn)和仇恨、影響政治正確、破壞教育公平、影響國(guó)際社會(huì)公平、加劇機(jī)器取代人類的進(jìn)程、形成信息繭房阻礙正確價(jià)值觀形成等問(wèn)題。

知識(shí)產(chǎn)權(quán)問(wèn)題

ChatGPT 等生成式大模型憑借強(qiáng)大的語(yǔ)言處理能力和低廉使用成本給社會(huì)方方面面帶來(lái)便利的同時(shí)，也存在侵權(quán)的問(wèn)題，對(duì)現(xiàn)存版權(quán)法體系帶來(lái)沖擊。例如 ChatGPT 生成的作品可能存在著作權(quán)爭(zhēng)議：ChatGPT 雖然有著出色的語(yǔ)言處理能力，但是即使生成的作品符合知識(shí)產(chǎn)權(quán)的全部形式要求，ChatGPT 也無(wú)法成為著作權(quán)的主體，這是因?yàn)橹鳈?quán)主體享有權(quán)利的同時(shí)也要承擔(dān)對(duì)應(yīng)的社會(huì)責(zé)任，而 ChatGPT 只能作為用戶強(qiáng)大的輔助生產(chǎn)力工具，它無(wú)法自主創(chuàng)作，更不要談享有權(quán)利、履行義務(wù)的主體要求。

而且 ChatGPT 等生成式大模型仍無(wú)法獨(dú)立創(chuàng)作，更沒(méi)有自主思維和獨(dú)立思考的能力，因而，ChatGPT 根據(jù)用戶的輸入生成的內(nèi)容不符合作品「獨(dú)創(chuàng)性」的要求。ChatGPT 用于模型訓(xùn)練的數(shù)據(jù)來(lái)自于互聯(lián)網(wǎng)，不論多么高級(jí)的模型訓(xùn)練算法必然涉及到對(duì)現(xiàn)有智力成果的引用、分析、處理等，必然存在對(duì)他人合法知識(shí)產(chǎn)權(quán)的侵犯問(wèn)題。

模型安全問(wèn)題

從攻防技術(shù)角度來(lái)看，ChatGPT 等生成式大模型也存在著模型安全的問(wèn)題。ChatGPT 本質(zhì)上是基于深度學(xué)習(xí)的一個(gè)大型生成模型，也面臨著人工智能安全方面的諸多威脅，包括模型竊取以及各種攻擊引起輸出的錯(cuò)誤（例如包括對(duì)抗攻擊、后門(mén)攻擊、prompt 攻擊、數(shù)據(jù)投毒等）。

例如，模型竊取指的是攻擊者依靠有限次數(shù)的模型詢問(wèn)，從而得到一個(gè)和目標(biāo)模型的功能和效果一致的本地模型。而 ChatGPT 已經(jīng)開(kāi)放了 API 的使用，這更為模型竊取提供了詢問(wèn)入口。又比如，ChatGPT 和 GPT4 作為一個(gè)分布式計(jì)算的系統(tǒng)，需要處理來(lái)自各方的輸入數(shù)據(jù)，并且經(jīng)過(guò)權(quán)威機(jī)構(gòu)驗(yàn)證，這些數(shù)據(jù)將會(huì)被持續(xù)用于訓(xùn)練。那么 ChatGPT 和 GPT4 也面臨著更大的數(shù)據(jù)投毒風(fēng)險(xiǎn)。攻擊者可以在與 ChatGPT 和 GPT4 交互的時(shí)候，強(qiáng)行給 ChatGPT 和 GPT4 灌輸錯(cuò)誤的數(shù)據(jù)，或者是通過(guò)用戶反饋的形式去給 ChatGPT 和 GPT4 進(jìn)行錯(cuò)誤的反饋，從而降低 ChatGPT 和 GPT4 的能力，或者給其加入特殊的后門(mén)攻擊。

安全與隱私建議

最后，白皮書(shū)中對(duì)于安全和隱私等問(wèn)題都進(jìn)行了相應(yīng)的建議，可作為之后技術(shù)研究者們的方向和政策制定者們的參考依據(jù)。

在保護(hù)隱私建議方面，白皮書(shū)提出要在增強(qiáng)原始數(shù)據(jù)中高敏感隱私信息的辨別和傳播限制；在數(shù)據(jù)收集過(guò)程中利用差分隱私等技術(shù)進(jìn)行隱私保護(hù)；對(duì)于訓(xùn)練數(shù)據(jù)的存儲(chǔ)進(jìn)行數(shù)據(jù)加密形式的安全保護(hù)；在模型訓(xùn)練過(guò)程中使用安全多方計(jì)算，同態(tài)加密以及聯(lián)邦學(xué)習(xí)等技術(shù)進(jìn)行數(shù)據(jù)隱私和安全保護(hù)；建立數(shù)據(jù)隱私評(píng)估和模型保護(hù)與安全認(rèn)證體系，并且保護(hù)下游應(yīng)用的隱私。

在模型安全問(wèn)題的建議上，白皮書(shū)提出對(duì)安全與隱私信息的檢測(cè)模型的訓(xùn)練；讓不同的模型適用于不同國(guó)家的法律條款；以及針對(duì)各種對(duì)抗攻擊進(jìn)行防御性訓(xùn)練。

在模型合規(guī)問(wèn)題上，白皮書(shū)提出進(jìn)行可信輸出的度量，信任值評(píng)價(jià)，增加模型輸出的版權(quán)信息的查詢功能。

總結(jié)來(lái)說(shuō)，AI 生成式大模型的發(fā)展離不開(kāi)安全，因此其安全問(wèn)題將作為下一個(gè)技術(shù)點(diǎn)，值得眾多研究者去攻克。而安全也是社會(huì)穩(wěn)定的保障，有關(guān)部門(mén)需要盡快進(jìn)行政策的制定。

THE END

轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

投稿或?qū)で髨?bào)道：content@jiqizhixin.com

關(guān)鍵詞：