4月27日，由長城會和騰訊汽車共同承辦的“AI”生萬物·全球未來出行峰會在北京舉辦，活動現(xiàn)場，加州大學(xué)伯克利分校計(jì)算機(jī)系教授Dawn SONG發(fā)表了主題演講。

Dawn SONG教授認(rèn)為，安全將會成為在AI應(yīng)用方面最大的挑戰(zhàn)，它需要整個行業(yè)的努力，需要更多的資金投入，“如何更好的理解，對于AI學(xué)習(xí)系統(tǒng)來說什么是安全，當(dāng)這個學(xué)習(xí)系統(tǒng)被欺騙的時候，我們?nèi)绾巫R別，如何有更強(qiáng)大的保證建立起一個具有韌性的體系?！?/p>

以下是發(fā)言實(shí)錄：

Dawn SONG：我們知道深度學(xué)習(xí)已經(jīng)在全世界起到了重要作用，比如說AlphaGo已經(jīng)贏得了世界冠軍，深度學(xué)習(xí)之后我們會為日常用品提供動力，所以我們看到整個深度學(xué)習(xí)已經(jīng)成為了市場中不可磨滅的一部分。

人工智能需要更多的資金投入，使得人工智能更的快發(fā)展。隨著人工智能控制越來越多的系統(tǒng)，攻擊者將會獲得更高的激勵，但是，當(dāng)人工智能變得越來越有能力的時候，攻擊者濫用的后果將會變得更加嚴(yán)重。

給大家舉幾個例子，是關(guān)于深度學(xué)習(xí)導(dǎo)致的一些問題。在右邊圖中所示可以看到一些例子，這些圖片是由原始圖片以及待處理的圖片結(jié)合起來的，通過人眼你可以看到這些例子，而人眼是無法分辨出來原始圖片和被處理圖片之間的不同，因?yàn)樵紙D片和處理過的圖片經(jīng)過人眼識別后，它們對人眼前產(chǎn)生的效應(yīng)是相同的，所以他們能夠愚弄整個人的視覺系統(tǒng)，導(dǎo)致人的學(xué)習(xí)系統(tǒng)癱瘓，這種情況下，就會產(chǎn)生一些誤導(dǎo)。

Google在早期深度學(xué)習(xí)中發(fā)現(xiàn)了一些問題，剛開始就會發(fā)現(xiàn)這些AI很容易被愚弄，我們?yōu)槭裁匆诤踹@些東西呢？如果我們要實(shí)現(xiàn)無人駕駛的話，我們必須要觀測周圍的環(huán)境，例如說要識別公共交通信號，這樣你才能夠安全的在馬路上駕駛。

所以在圖片上可以看到，這里有一些交通標(biāo)示，對于人類眼睛來說，你可以識別這些“停止”的標(biāo)志，但是假設(shè)它是機(jī)器人呢？AI是否能夠很好的識別呢？而人類識別這些是沒有問題的，但是機(jī)器是否能識別確實(shí)是一個問題。因?yàn)檫@些停車標(biāo)志在不同的地方會有一些微調(diào)，導(dǎo)致機(jī)器識別產(chǎn)生困難。

所以，在真實(shí)世界中，在物理世界中，我們可以看到已經(jīng)發(fā)現(xiàn)了這些標(biāo)志的不同，所以我們發(fā)現(xiàn)在物理世界中這些標(biāo)志在產(chǎn)生變化的情況下，如何讓機(jī)器人不被誤導(dǎo)，是我們亟待要解決的問題。。

下面給大家播放一段視頻，這個視頻有兩個小邊框，可以看到右邊的那張圖是原始的交通標(biāo)志，左邊的這張圖是原始的交通標(biāo)志經(jīng)過了微調(diào)的效果。是否能夠正確的分辨出兩個交通標(biāo)志的不同？當(dāng)車駛過交通標(biāo)志的時候，可以看到原始的，而那個被微調(diào)過的交通標(biāo)志，整個系統(tǒng)就錯誤的忽略了這個交通標(biāo)志的意義，最終導(dǎo)致了車禍。這就表明了物理世界中的例子，能夠在實(shí)際生活中有非常嚴(yán)重的錯誤，特別是在那些待處理的物理世界中。

我們已經(jīng)有很多這樣的例子，在不同的區(qū)域，在不同深度學(xué)習(xí)的過程中，我們都學(xué)習(xí)到了這些東西。我的結(jié)論就是，這些例子在深度學(xué)習(xí)中非常具有普遍性，并且也很容易識別。在其他的深度學(xué)習(xí)系統(tǒng)中，比如說生成模型、圖畫到代碼之間的轉(zhuǎn)化，這些都需要深度學(xué)習(xí)?？梢钥吹揭粋€中介訓(xùn)練深度學(xué)習(xí)，做一個游戲的設(shè)計(jì)，這是非常流行的技術(shù)，AlphaGo就是用這個技術(shù)訓(xùn)練的，我們可以看到同樣的中介訓(xùn)練，這個中介訓(xùn)練的非常成功，但是在中間的那一欄（圖），我們加入了一些調(diào)整過的模型，可以看到在這里訓(xùn)練，如果對抗樣本出現(xiàn)的時候，加入了整個樣本，操作系統(tǒng)就完全錯誤的判斷了游戲的進(jìn)程，并且失敗了。所以可以看到，抗樣本在這方面的影響有多么的大。

由于對抗樣本的重要性，我們做了很多研究，研究如何去避免對抗樣本對結(jié)果產(chǎn)生的不良影響，現(xiàn)在我們已經(jīng)可以避免機(jī)器學(xué)習(xí)帶來的一些逆反作用，同樣我們也可以訓(xùn)練一個語言安裝電子郵件數(shù)據(jù)，并且培訓(xùn)一種語言模型，該模型會包含真實(shí)的智慧安全卡和信用卡，所以在深度學(xué)習(xí)中我們需要去了解這些微調(diào)的例子。

剛剛給大家舉了一些例子，關(guān)于如何來防止操作系統(tǒng)被愚弄，黑客們同樣也能夠給大家?guī)硪恍┢渌睦_，通過攻擊你自己的學(xué)習(xí)系統(tǒng)。

這些攻擊者的目的幾乎都是相同的，他們要獲取你的秘密。比如說你收集了一些數(shù)據(jù)，你的數(shù)據(jù)是駕駛汽車的數(shù)據(jù)，或者說是通過測試出來的數(shù)據(jù)，他們需要攻擊，并且能夠取得這些數(shù)據(jù)，這些數(shù)據(jù)非常敏感，這些攻擊者能通過攻擊來獲取你的數(shù)據(jù)嗎？所以在日常生活中我們進(jìn)行了一項(xiàng)研究，我們的研究表明，通過我們訓(xùn)練的語言模型，對郵件數(shù)據(jù)集中進(jìn)行了語言模型的訓(xùn)練，數(shù)據(jù)集里面包括非常敏感的信息，包括人的信用卡和社保號，結(jié)果表明通過這樣一個模型，哪怕是我們不了解的細(xì)節(jié)，通過這次攻擊，攻擊者可以竊取社保號、信用卡號，但是，如果我們要有不同的機(jī)器學(xué)習(xí)的模型來保護(hù)隱私，我們就可以使得攻擊變得非常的困難。

我們要保證云端的機(jī)器學(xué)習(xí)，保護(hù)好用戶的敏感信息，特別是在我們關(guān)注機(jī)器學(xué)習(xí)系統(tǒng)的時候，有幾種不同類型的威脅，需要我們非常謹(jǐn)慎的處理。一種是在機(jī)器學(xué)習(xí)的系統(tǒng)當(dāng)中，用戶的信息被收集起來了，進(jìn)行了分析，項(xiàng)目的運(yùn)行，這個項(xiàng)目將會執(zhí)行和預(yù)測最后的結(jié)果。在這個情景當(dāng)中，有兩種類型的信息需要關(guān)注，一種是非信任的機(jī)器學(xué)習(xí)，機(jī)器本身不需要得到信任，也許他在襲擊之下，分析師的賬戶受到了威脅，同時計(jì)算的基礎(chǔ)設(shè)施也會受到威脅，最后計(jì)算的結(jié)果也許會展示之前輸入的敏感信息，就像我剛才講到的郵件數(shù)據(jù)的例子。

從這幾個例子中可以看到，我們開發(fā)了不同的技術(shù)，包括基本的程序撰寫和要保證那些不可信的項(xiàng)目得到識別，使得這個程序能夠滿足安全要求。我們要使用安全的硬件，保證安全的競爭，能夠有一個非常值得信任的計(jì)算基礎(chǔ)設(shè)施，我們可以通過區(qū)分式的隱私措施保證在最終的輸入當(dāng)中不會讓我們產(chǎn)出敏感的輸出信息。

利用各種各樣的技術(shù)，就可以建立起安全和隱私保護(hù)的平臺。 總結(jié)一下，我們有非常多的開放式的挑戰(zhàn)來部署機(jī)器學(xué)習(xí)，比如說，如何更好的理解，對于AI學(xué)習(xí)系統(tǒng)來說什么是安全，當(dāng)這個學(xué)習(xí)系統(tǒng)被欺騙的時候，我們?nèi)绾巫R別，如何有更強(qiáng)大的保證建立起一個具有韌性的體系。我認(rèn)為，安全將會成為在AI應(yīng)用方面最大的挑戰(zhàn)，它需要整個行業(yè)的努力，我們要共同應(yīng)對這個挑戰(zhàn)。