人工智能先鋒Stuart Russell：智能和人工智能安全的巨大挑戰(zhàn)

今年一月，英裔美籍計(jì)算機(jī)科學(xué)家Stuart Russell起草了一份公開信，他也是這份公開信首位簽署人，在這份公開信中，Stuart Russell呼吁研究人員，雖然當(dāng)前大家的目標(biāo)是希望人工智能變得強(qiáng)大，但千萬(wàn)不要鼠目寸光，局限在這個(gè)目標(biāo)上面。在這份公開信中寫道，“我們提醒研究人員注意，隨著人工智能系統(tǒng)的能力越來(lái)越強(qiáng)大，我們希望這個(gè)系統(tǒng)更加穩(wěn)定，同時(shí)也要對(duì)人類有益。我們的人工智能系統(tǒng)，必須要做人類要求它們做的東西。”目前，已經(jīng)有數(shù)千人在這份公開信上簽名，包括谷歌，F(xiàn)acebook，微軟公司內(nèi)研究人工智能的專家，以及全球其他行業(yè)中心里的頂尖計(jì)算機(jī)科學(xué)家，物理學(xué)家，以及哲學(xué)家。在今年三月底，大約有300名研究人員開啟了一項(xiàng)新研究，希望讓人工智能對(duì)人類更加有益，而資助這份研究的資金則是由該公開信的第37位簽署人贊助的，他就是現(xiàn)實(shí)版“鋼鐵俠”Elon Musk。

Russell今年53歲，是加州大學(xué)伯克利分校人工智能系統(tǒng)中心創(chuàng)始人兼計(jì)算機(jī)科學(xué)專業(yè)教授，他一直在關(guān)注人工智能的發(fā)展和影響。Russell寫了200多頁(yè)的論文，同時(shí)他還是人工智能領(lǐng)域里“標(biāo)準(zhǔn)教科書”-----《人工智能：一種現(xiàn)代化方法》作者（谷歌研究主管Peter Norvig也是該書作者）。但是，隨著人工智能發(fā)展的速度越來(lái)越快，加劇了Russell對(duì)這一領(lǐng)域的擔(dān)憂。

近日他表示，人工智能有了很大跨越，很大程度上是因?yàn)樯窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有了質(zhì)的飛躍。相關(guān)技術(shù)已經(jīng)應(yīng)用在Facebook的人臉識(shí)別軟件，智能手機(jī)的私人助手應(yīng)用，以及谷歌的自動(dòng)駕駛汽車上面了。還有一個(gè)現(xiàn)實(shí)中的例子，根據(jù)《自然》雜志上最近刊登的一項(xiàng)研究成果，一個(gè)人工神經(jīng)模擬網(wǎng)絡(luò)學(xué)習(xí)玩兒雅達(dá)利公司的視頻游戲，結(jié)果玩兒的竟然比人類還要好，這也引起了業(yè)界震動(dòng)。“如果這發(fā)生在一個(gè)剛出生的孩子身上，你會(huì)認(rèn)為，這是與生俱來(lái)的。”Russell說(shuō)到。

今年，在德克薩斯州圣安東尼奧市舉辦的美國(guó)物理學(xué)會(huì)2015年會(huì)上，Russell接受了Quanta Magazine的采訪，并談?wù)摿酥悄鼙举|(zhì)和人工智能安全的巨大挑戰(zhàn)。

你認(rèn)為，人工智能的目標(biāo)就是要能證明它能符合人類價(jià)值觀，這意味著什么？

這么說(shuō)真有點(diǎn)兒氣人吶，這里把兩件事情放在在了一起，一個(gè)是要“能證明”，另一個(gè)是“人類價(jià)值觀”，它們貌似就是非常矛盾的。人類價(jià)值觀本身就多少存在一些神秘，從某種程度上，我們的價(jià)值觀會(huì)在行為上有所表現(xiàn)，你可能希望證明機(jī)器也能做出絕大多數(shù)類似的行為吧?；蛟S，機(jī)器會(huì)有一些零碎的東西無(wú)法理解，而實(shí)際上，就連人類自己有時(shí)都不太認(rèn)可彼此。不過(guò)，只要機(jī)器能夠獲得基本權(quán)利，你可能就會(huì)發(fā)現(xiàn)它們其實(shí)并不是非常有害的。

你會(huì)如何著手實(shí)現(xiàn)這些？

這個(gè)問(wèn)題其實(shí)就是我現(xiàn)在的工作：機(jī)器需要在什么地方擁有一些近似于價(jià)值觀的東西呢？重要的是，這些價(jià)值觀必須是人類希望他們擁有的。我認(rèn)為答案就是一種名叫“逆向增強(qiáng)學(xué)習(xí)”的技術(shù)。普通的增強(qiáng)學(xué)習(xí)是一種過(guò)程，你會(huì)根據(jù)自己的表現(xiàn)得到一定的獎(jiǎng)勵(lì)和懲罰，你的目標(biāo)就是要識(shí)別出一些能讓你獲得最多獎(jiǎng)勵(lì)的行為。這就是【雅達(dá)利游戲公司】DQN系統(tǒng)正在做的事情；它給每個(gè)游戲分?jǐn)?shù)，而這套系統(tǒng)的目標(biāo)，就是要讓分?jǐn)?shù)變得越來(lái)越大。逆向增強(qiáng)學(xué)習(xí)恰恰與之相反，你會(huì)發(fā)現(xiàn)一些行為，然后你需要嘗試搞清楚這種行為嘗試最大化的那個(gè)分?jǐn)?shù)是多少。舉個(gè)例子，你的家用機(jī)器人看到你早上從床上爬起來(lái)，然后把一些褐色的玩意兒放進(jìn)一臺(tái)噪音很大的機(jī)器里磨碎，然后再把一些蒸汽、熱水、牛奶和這個(gè)液體混合在一起，一飲而盡之后，精神就會(huì)變得非常好。此時(shí)，逆向增強(qiáng)學(xué)習(xí)技術(shù)就需要學(xué)習(xí)，這其實(shí)就是人類在清晨?jī)r(jià)值功能的一部分，因?yàn)樗麄冃枰瓤Х取?/p>

關(guān)于人類行為和行為態(tài)度，在書本、電影、已經(jīng)互聯(lián)網(wǎng)之外，其實(shí)存在著大量信息。因此，當(dāng)涉及到人類價(jià)值時(shí)，機(jī)器需要學(xué)習(xí)的資源是非常龐大的，比如誰(shuí)贏了比賽金牌，誰(shuí)去坐牢，以及為什么會(huì)這樣。

您是怎么進(jìn)入到人工智能這一領(lǐng)域里的？

當(dāng)我還在學(xué)習(xí)讀書的時(shí)候，總體來(lái)說(shuō)，人工智能還不是一種正式的學(xué)術(shù)科目。但是當(dāng)時(shí)我所在的是倫敦的一家公立寄宿學(xué)校，位于圣保羅，所以我的時(shí)間沒(méi)有花在打英式橄欖球上，相反，在附近的一所高校里，我學(xué)習(xí)了計(jì)算機(jī)科學(xué)A-level課程。我當(dāng)時(shí)為A-level課程準(zhǔn)備了一個(gè)項(xiàng)目，就是編了一個(gè)程序教自己下井字棋，或是一字棋。當(dāng)時(shí)我在那里并不受到人們歡迎，因?yàn)槲铱偸且贿B幾個(gè)小時(shí)霸占著學(xué)校里的計(jì)算機(jī)。第二年，我寫了一個(gè)國(guó)際象棋程序，同時(shí)也獲得了帝國(guó)理工大學(xué)教授的許可，可以使用他們學(xué)校里的大型計(jì)算機(jī)。搞清楚計(jì)算機(jī)如何學(xué)習(xí)下棋真的太有意思了，我學(xué)到了很多今后會(huì)在書本上學(xué)到的東西。

不過(guò)怎么說(shuō)呢，當(dāng)時(shí)我還只是把這個(gè)當(dāng)做是一個(gè)愛好；因?yàn)楫?dāng)時(shí)我最感興趣的學(xué)科專業(yè)是物理。我在牛津大學(xué)學(xué)習(xí)了物理學(xué)，之后當(dāng)我申請(qǐng)讀研究生的時(shí)候，也是申請(qǐng)了在牛津和劍橋繼續(xù)攻讀理論物理專業(yè)。后來(lái)我又申請(qǐng)了麻省理工學(xué)院，卡耐基-梅隆大學(xué)和斯坦福大學(xué)三所高校的計(jì)算機(jī)科學(xué)專業(yè)，但不幸的是，當(dāng)時(shí)我錯(cuò)過(guò)了申請(qǐng)截止日期，好在斯坦福大學(xué)網(wǎng)開一面，于是我來(lái)到了斯坦福大學(xué)。

所以，您來(lái)美國(guó)之后就一直生活在西海岸？

是的。

在您整個(gè)職業(yè)生涯里，花了大量時(shí)間嘗試?yán)斫馊斯ぶ悄苁鞘裁?，這也是搞清楚機(jī)器會(huì)如何實(shí)現(xiàn)人工智能的先決條件。從中您學(xué)到了些什么？

在上世紀(jì)80年代，我進(jìn)行了理論研究，當(dāng)時(shí)我開始思考制定理性決策，但問(wèn)題是，這個(gè)問(wèn)題是不可能解決的。如果你非常理性，你可能會(huì)向：這是我目前的狀態(tài)，這是我現(xiàn)在能做的行為，之后我可以做那些行為，接著是那些行為，再接著又是那些行為。哪條路徑能確保實(shí)現(xiàn)我的目標(biāo)呢？理性行為的定義，要求你去優(yōu)化整個(gè)宇宙的未來(lái)，這靠計(jì)算是根本不可能實(shí)現(xiàn)的。

在人工智能中，也有些事情是不可能實(shí)現(xiàn)的，因此我們?nèi)ザx那些我們正在嘗試所做的事情，其實(shí)根本沒(méi)有什么意義，所以，我決定嘗試搞明白：我們究竟是如何做決策的？

那么，我們是怎么做的呢？

這里有一個(gè)技巧，你可以去思考一個(gè)短期預(yù)測(cè)，然后再去猜測(cè)未來(lái)會(huì)是什么樣子。因此，舉個(gè)例子，在國(guó)際象棋程序里，如果他們非常理性，那么他們就只會(huì)走那些能確保將死對(duì)方的棋，但實(shí)際上，他們并不會(huì)這么做。他們會(huì)算一下未來(lái)要走的幾步棋，然后再猜測(cè)一下，如果這么走，對(duì)于當(dāng)前自己的棋局是否有幫助，最后，他們會(huì)選擇走一步對(duì)自己當(dāng)前棋局最為有利的一步棋。

“你能證明你的系統(tǒng)，無(wú)論他們有多么智能，都不會(huì)重寫系統(tǒng)內(nèi)部最初由人類設(shè)置的那個(gè)目標(biāo)嗎？”

實(shí)際上，真正需要重點(diǎn)考慮的另一件事情，就是在多個(gè)抽象級(jí)別里的決策問(wèn)題，也就是所謂的“分層決策”。在一個(gè)人一生之中，大約要做20萬(wàn)億個(gè)物理動(dòng)作。舉個(gè)例子，在本屆大會(huì)上做一次演講，需要作出大約13億個(gè)物理動(dòng)作。如果你是理性的，那么就會(huì)預(yù)先想好會(huì)怎么做這13億個(gè)物理動(dòng)作，顯然，這非?；闹?，同樣也是不可能實(shí)現(xiàn)的。因此，如果人們想要能夠進(jìn)行目標(biāo)管理，就需要非常豐富的高層次抽象行為庫(kù)。你走路的時(shí)候會(huì)去想，“首先我要么移動(dòng)我的左腳，要么移動(dòng)我的右腳，之后我要么移動(dòng)…”會(huì)這樣想嗎？顯然不會(huì)。那么你會(huì)想些什么呢？你會(huì)想“我得趕緊去艾派迪旅游公司，然后訂一個(gè)航班。當(dāng)我落地之后，我要打個(gè)的。”這才是人類會(huì)想的東西。在我的飛機(jī)實(shí)際落地之前，我是不會(huì)去想任何東西的，也不會(huì)去找出租車標(biāo)記，或是叫車，但是當(dāng)我落地之后，我會(huì)需要更多細(xì)節(jié)?；旧?，這才是我們真正的生活，未來(lái)是鋪開的，很多細(xì)節(jié)能夠及時(shí)的靠近我們，但是很多大塊、或是人生的大方向卻是非常抽象的，比如“我要考博士”，“我要生孩子”，等等。

目前的計(jì)算機(jī)能做分層決策嗎？

這正是目前人工智能所缺失的那一部分，所有這些高級(jí)別行為都來(lái)自什么地方？我們不認(rèn)為像DQN網(wǎng)絡(luò)這樣的程序可以識(shí)別行為的抽象表達(dá)。有一些游戲，DQN還不知道怎么玩兒，那些難度較高的游戲需要在原始行為表現(xiàn)的基礎(chǔ)上，向前思考很多很多步，舉個(gè)例子，如果一個(gè)人想，“哦！我現(xiàn)在需要做的，是去開門。”，而開門則需要涉及到拿鑰匙，等等。如果機(jī)器沒(méi)有“開門”這個(gè)行為表現(xiàn)，那么在這個(gè)任務(wù)上就不會(huì)有任何進(jìn)展。

但是，如果問(wèn)題被解決（當(dāng)然這幾乎是不可能的），那么我們就會(huì)看到機(jī)器能力將得到極大的提升。我個(gè)人其實(shí)也不太確定，在人類級(jí)別的人工智能和計(jì)算機(jī)分層決策問(wèn)題之間的主要障礙是什么。

對(duì)于人類級(jí)別人工智能的可能性，您關(guān)注的是什么？

1994年，在我首版書中有一個(gè)章節(jié)，題目叫做“如果我們成功了會(huì)怎樣？”因?yàn)樵谖铱磥?lái)，對(duì)于人工智能似乎大家還沒(méi)有真正思考過(guò)這個(gè)問(wèn)題?；蛟S可能因?yàn)檫@距離我們非常遙遠(yuǎn)，但很顯然，如果人工智能獲得成功，那無(wú)疑將會(huì)是一件大事，甚至?xí)侨祟悮v史上最重大的事件，我們需要用一種較好的方式去描述它。如果這事兒真的成了，那么我們就需要做非常多的思考，至少，要比我們現(xiàn)在正在思考未來(lái)會(huì)是什么樣多得多。

智能爆炸的基本概念，就是一旦機(jī)器獲得了一定級(jí)別的智能水平，他們就能在人工智能上工作，就像我們做的那樣，同時(shí)還會(huì)提升他們自己的能力，重新設(shè)計(jì)他們自己的硬件，等等。同時(shí)，他們的智能將會(huì)破紀(jì)錄般地被放大。在過(guò)去的幾年里，人工智能圈子已經(jīng)逐漸開始重新定義人類級(jí)別人工智能參數(shù)（這可能會(huì)是個(gè)問(wèn)題），其中最令人信服的參數(shù)必須是要和價(jià)值參數(shù)有關(guān)：你構(gòu)建了而一個(gè)系統(tǒng)，在優(yōu)化效用函數(shù)上表現(xiàn)的非常好，但是效用函數(shù)并不是非常正確的。牛津大學(xué)哲學(xué)家Nick Bostrom寫了一本書，叫做《超級(jí)智能》，他用回紋針作為例子，你說(shuō)，“做些回紋針”。它就將整個(gè)星球變成一個(gè)巨大的回紋針堆積場(chǎng)。你構(gòu)建了一個(gè)超級(jí)優(yōu)化程序；你會(huì)給它什么樣的效用函數(shù)呢？因?yàn)檫@個(gè)程序就要打算這么干了！

人類價(jià)值觀的差異呢？

那是個(gè)內(nèi)在問(wèn)題。你可以說(shuō)，當(dāng)有某個(gè)領(lǐng)域出現(xiàn)了價(jià)值觀沖突的時(shí)候，機(jī)器應(yīng)該寧可什么都不做。但這是很難實(shí)現(xiàn)的。我認(rèn)為，我們不得不在某些價(jià)值功能的基礎(chǔ)上構(gòu)建人工智能。如果你想要一個(gè)家庭機(jī)器人，它就必須要很好地分享人類價(jià)值觀的不同部分，否則它很可能會(huì)做一些非常愚蠢的事情，比如當(dāng)孩子肚子餓了，并且冰箱里沒(méi)有食物了，它可能就會(huì)把貓放進(jìn)烤箱里做晚飯?，F(xiàn)實(shí)生活中充滿了類似的權(quán)衡，如果機(jī)器可以有一些折中的方式，那么它們?cè)谏钪芯筒粫?huì)做出那些愚蠢的事情。

從某種意義上來(lái)說(shuō)，在價(jià)值觀領(lǐng)域里，我沒(méi)有看到任何的解決方案。我同時(shí)還覺(jué)得，如果人工智能可以判斷正確的人類價(jià)值觀，那么可能會(huì)帶來(lái)巨大的經(jīng)濟(jì)利益。舉個(gè)例子，一旦家庭機(jī)器人做出一兩次愚蠢的事情，如同前文講的把貓放進(jìn)烤箱，那么人們肯定再也不會(huì)買這種類型的機(jī)器人了。

但同時(shí)還有一個(gè)問(wèn)題，如果智能系統(tǒng)自我表現(xiàn)行為符合人類價(jià)值觀，那么人類就會(huì)過(guò)渡到越來(lái)越多的智能系統(tǒng)上面，這是否意味著人類自己的價(jià)值觀要變得越來(lái)越好？還是繼續(xù)表現(xiàn)自我？我不知道答案。

您曾經(jīng)說(shuō)過(guò)，我們需要通過(guò)數(shù)學(xué)驗(yàn)證人工智能在所有可能的環(huán)境下表現(xiàn)出的行為，這該怎么做呢？

人們指出的困難之一，就是一個(gè)智能系統(tǒng)可以武斷地制造出一個(gè)全新的“自我”，而這個(gè)新智能系統(tǒng)的目標(biāo)和原來(lái)的老智能系統(tǒng)也是不同的。這種場(chǎng)景，相比很多科幻小說(shuō)作家會(huì)經(jīng)常提及，在某種程度上，機(jī)器會(huì)自發(fā)地達(dá)到戰(zhàn)勝人類的目標(biāo)。所以問(wèn)題來(lái)了：你能證明你的系統(tǒng)無(wú)論它多么智能，都永遠(yuǎn)永遠(yuǎn)不會(huì)重寫自己最初由人類設(shè)置的目標(biāo)嗎？

證明這點(diǎn)還是相當(dāng)容易的，正如前文所提到的DQN系統(tǒng)，它可以永遠(yuǎn)不去改變自己“優(yōu)化游戲分?jǐn)?shù)”的目標(biāo)?，F(xiàn)在，有一次網(wǎng)絡(luò)攻擊，就是人們談?wù)摫环Q為“wire-heading”的網(wǎng)絡(luò)攻擊，它讓你可以實(shí)際進(jìn)入到雅達(dá)利游戲的控制臺(tái)，手工改變屏幕上生成的分?jǐn)?shù)。此時(shí)對(duì)DQN是不可行的，因?yàn)樗男袨榉秶峭耆谟螒虮旧碇械?；它沒(méi)有機(jī)器人手臂去干這種事兒。不過(guò)，如果機(jī)器在現(xiàn)實(shí)世界中有了行動(dòng)能力，那就會(huì)帶來(lái)嚴(yán)重的問(wèn)題。因此，你能夠證明你設(shè)計(jì)的系統(tǒng)在自身行為范圍之內(nèi)，永遠(yuǎn)不會(huì)改變自身機(jī)制嗎？這更難證明了。

如果朝著人工智能這個(gè)方向有什么進(jìn)展的話，您覺(jué)得會(huì)很有希望嗎？

目前有一個(gè)新興的行業(yè)領(lǐng)域，叫做“網(wǎng)絡(luò)-實(shí)體系統(tǒng)”，這個(gè)系統(tǒng)可以將虛擬環(huán)境與真實(shí)世界進(jìn)行匹配。在網(wǎng)絡(luò)-實(shí)體系統(tǒng)中，你可以用一些二進(jìn)制數(shù)字來(lái)代表一個(gè)空中交通管制程序，然后你可以獲得一些真實(shí)的飛機(jī)，而你真正關(guān)心的是，不要發(fā)生飛機(jī)碰撞。你要試圖去證明一個(gè)關(guān)于虛擬和真實(shí)世界整合的定理，此時(shí)你會(huì)怎么做呢？你會(huì)對(duì)真實(shí)世界進(jìn)行非常保守的數(shù)學(xué)描述，比如飛機(jī)在這樣或那樣的環(huán)境下可以加速，等等，你的定理在真實(shí)世界中會(huì)是正確的，只要真實(shí)世界能夠包含在你的整體行為環(huán)境之中。

但是，你已經(jīng)指出，數(shù)學(xué)方法可能無(wú)法作為人工智能系統(tǒng)的正式驗(yàn)證方法

在數(shù)學(xué)專業(yè)里有個(gè)術(shù)語(yǔ)，叫做“不可判定性”。在你所問(wèn)到關(guān)于計(jì)算機(jī)程序的很多問(wèn)題之中，其實(shí)都存在這樣一個(gè)普遍的“不可判定性”問(wèn)題。著名的計(jì)算機(jī)科學(xué)之父，也是人工智能之父阿蘭·圖靈說(shuō)過(guò)，沒(méi)有計(jì)算機(jī)程序能夠決定是否存在任何其他可能的程序可以最終終止，并輸出一個(gè)答案，或是陷入到一個(gè)無(wú)限循環(huán)之中。因此，如果你開始了一個(gè)程序，但是它自身可以重寫，變成另外一個(gè)其他程序，那么就會(huì)產(chǎn)生問(wèn)題，因?yàn)槟悴荒茏C明所有其他可能的程序會(huì)讓一些“所有權(quán)”滿意。所以問(wèn)題就是：是否有必要擔(dān)心那些能夠自我重寫的人工智能系統(tǒng)的不可判定性？它們會(huì)基于現(xiàn)有程序，加上它們?cè)谡鎸?shí)世界中的經(jīng)驗(yàn)，自我重寫成一個(gè)新的程序。在下一個(gè)程序如何設(shè)計(jì)的問(wèn)題上，與真實(shí)世界交互的影響范圍可能性又是什么？目前，我們貌似還沒(méi)有太多這方面的知識(shí)。

via wired, 快鯉魚翻譯，轉(zhuǎn)載標(biāo)明出處