4月27日，由長城會和騰訊汽車共同承辦的“AI”生萬物·全球未來出行峰會在北京舉辦，活動現(xiàn)場，加州大學伯克利分校計算機系教授Dawn SONG發(fā)表了主題演講。

Dawn SONG教授認為，安全將會成為在AI應用方面最大的挑戰(zhàn)，它需要整個行業(yè)的努力，需要更多的資金投入，“如何更好的理解，對于AI學習系統(tǒng)來說什么是安全，當這個學習系統(tǒng)被欺騙的時候，我們?nèi)绾巫R別，如何有更強大的保證建立起一個具有韌性的體系?！?/p>

以下是發(fā)言實錄：

Dawn SONG：我們知道深度學習已經(jīng)在全世界起到了重要作用，比如說AlphaGo已經(jīng)贏得了世界冠軍，深度學習之后我們會為日常用品提供動力，所以我們看到整個深度學習已經(jīng)成為了市場中不可磨滅的一部分。

人工智能需要更多的資金投入，使得人工智能更的快發(fā)展。隨著人工智能控制越來越多的系統(tǒng)，攻擊者將會獲得更高的激勵，但是，當人工智能變得越來越有能力的時候，攻擊者濫用的后果將會變得更加嚴重。

給大家舉幾個例子，是關于深度學習導致的一些問題。在右邊圖中所示可以看到一些例子，這些圖片是由原始圖片以及待處理的圖片結合起來的，通過人眼你可以看到這些例子，而人眼是無法分辨出來原始圖片和被處理圖片之間的不同，因為原始圖片和處理過的圖片經(jīng)過人眼識別后，它們對人眼前產(chǎn)生的效應是相同的，所以他們能夠愚弄整個人的視覺系統(tǒng)，導致人的學習系統(tǒng)癱瘓，這種情況下，就會產(chǎn)生一些誤導。

Google在早期深度學習中發(fā)現(xiàn)了一些問題，剛開始就會發(fā)現(xiàn)這些AI很容易被愚弄，我們?yōu)槭裁匆诤踹@些東西呢？如果我們要實現(xiàn)無人駕駛的話，我們必須要觀測周圍的環(huán)境，例如說要識別公共交通信號，這樣你才能夠安全的在馬路上駕駛。

所以在圖片上可以看到，這里有一些交通標示，對于人類眼睛來說，你可以識別這些“停止”的標志，但是假設它是機器人呢？AI是否能夠很好的識別呢？而人類識別這些是沒有問題的，但是機器是否能識別確實是一個問題。因為這些停車標志在不同的地方會有一些微調(diào)，導致機器識別產(chǎn)生困難。

所以，在真實世界中，在物理世界中，我們可以看到已經(jīng)發(fā)現(xiàn)了這些標志的不同，所以我們發(fā)現(xiàn)在物理世界中這些標志在產(chǎn)生變化的情況下，如何讓機器人不被誤導，是我們亟待要解決的問題。。

下面給大家播放一段視頻，這個視頻有兩個小邊框，可以看到右邊的那張圖是原始的交通標志，左邊的這張圖是原始的交通標志經(jīng)過了微調(diào)的效果。是否能夠正確的分辨出兩個交通標志的不同？當車駛過交通標志的時候，可以看到原始的，而那個被微調(diào)過的交通標志，整個系統(tǒng)就錯誤的忽略了這個交通標志的意義，最終導致了車禍。這就表明了物理世界中的例子，能夠在實際生活中有非常嚴重的錯誤，特別是在那些待處理的物理世界中。

我們已經(jīng)有很多這樣的例子，在不同的區(qū)域，在不同深度學習的過程中，我們都學習到了這些東西。我的結論就是，這些例子在深度學習中非常具有普遍性，并且也很容易識別。在其他的深度學習系統(tǒng)中，比如說生成模型、圖畫到代碼之間的轉(zhuǎn)化，這些都需要深度學習?？梢钥吹揭粋€中介訓練深度學習，做一個游戲的設計，這是非常流行的技術，AlphaGo就是用這個技術訓練的，我們可以看到同樣的中介訓練，這個中介訓練的非常成功，但是在中間的那一欄（圖），我們加入了一些調(diào)整過的模型，可以看到在這里訓練，如果對抗樣本出現(xiàn)的時候，加入了整個樣本，操作系統(tǒng)就完全錯誤的判斷了游戲的進程，并且失敗了。所以可以看到，抗樣本在這方面的影響有多么的大。

由于對抗樣本的重要性，我們做了很多研究，研究如何去避免對抗樣本對結果產(chǎn)生的不良影響，現(xiàn)在我們已經(jīng)可以避免機器學習帶來的一些逆反作用，同樣我們也可以訓練一個語言安裝電子郵件數(shù)據(jù)，并且培訓一種語言模型，該模型會包含真實的智慧安全卡和信用卡，所以在深度學習中我們需要去了解這些微調(diào)的例子。

剛剛給大家舉了一些例子，關于如何來防止操作系統(tǒng)被愚弄，黑客們同樣也能夠給大家?guī)硪恍┢渌睦_，通過攻擊你自己的學習系統(tǒng)。

這些攻擊者的目的幾乎都是相同的，他們要獲取你的秘密。比如說你收集了一些數(shù)據(jù)，你的數(shù)據(jù)是駕駛汽車的數(shù)據(jù)，或者說是通過測試出來的數(shù)據(jù)，他們需要攻擊，并且能夠取得這些數(shù)據(jù)，這些數(shù)據(jù)非常敏感，這些攻擊者能通過攻擊來獲取你的數(shù)據(jù)嗎？所以在日常生活中我們進行了一項研究，我們的研究表明，通過我們訓練的語言模型，對郵件數(shù)據(jù)集中進行了語言模型的訓練，數(shù)據(jù)集里面包括非常敏感的信息，包括人的信用卡和社保號，結果表明通過這樣一個模型，哪怕是我們不了解的細節(jié)，通過這次攻擊，攻擊者可以竊取社保號、信用卡號，但是，如果我們要有不同的機器學習的模型來保護隱私，我們就可以使得攻擊變得非常的困難。

我們要保證云端的機器學習，保護好用戶的敏感信息，特別是在我們關注機器學習系統(tǒng)的時候，有幾種不同類型的威脅，需要我們非常謹慎的處理。一種是在機器學習的系統(tǒng)當中，用戶的信息被收集起來了，進行了分析，項目的運行，這個項目將會執(zhí)行和預測最后的結果。在這個情景當中，有兩種類型的信息需要關注，一種是非信任的機器學習，機器本身不需要得到信任，也許他在襲擊之下，分析師的賬戶受到了威脅，同時計算的基礎設施也會受到威脅，最后計算的結果也許會展示之前輸入的敏感信息，就像我剛才講到的郵件數(shù)據(jù)的例子。

從這幾個例子中可以看到，我們開發(fā)了不同的技術，包括基本的程序撰寫和要保證那些不可信的項目得到識別，使得這個程序能夠滿足安全要求。我們要使用安全的硬件，保證安全的競爭，能夠有一個非常值得信任的計算基礎設施，我們可以通過區(qū)分式的隱私措施保證在最終的輸入當中不會讓我們產(chǎn)出敏感的輸出信息。

利用各種各樣的技術，就可以建立起安全和隱私保護的平臺。 總結一下，我們有非常多的開放式的挑戰(zhàn)來部署機器學習，比如說，如何更好的理解，對于AI學習系統(tǒng)來說什么是安全，當這個學習系統(tǒng)被欺騙的時候，我們?nèi)绾巫R別，如何有更強大的保證建立起一個具有韌性的體系。我認為，安全將會成為在AI應用方面最大的挑戰(zhàn)，它需要整個行業(yè)的努力，我們要共同應對這個挑戰(zhàn)。