科技評(píng)論網(wǎng)站日前揭橥文章，引見(jiàn)了深度進(jìn)修的成長(zhǎng)趨向及其局限。固然深度進(jìn)修曾經(jīng)是以后的一股高潮，也獲得了很多結(jié)果，但業(yè)界人士指出，今朝的深度進(jìn)修就像是“物理學(xué)涌現(xiàn)之前的工程學(xué)”。以下為原文摘要：

　　人工智能（AI）范疇的每個(gè)提高，都有賴于30年前的一個(gè)沖破。要堅(jiān)持AI提高的節(jié)拍，就須要沖破這個(gè)范疇的一些嚴(yán)重局限。

　　AI范疇的愛(ài)因斯坦

　　矢量研討所（Vector Institute）位于加拿年夜多倫多的市中間，將于本年秋季停業(yè)，它旨在成為全球AI中間舞臺(tái)。美國(guó)和加拿年夜公司（好比谷歌（微博）、Uber和Nvidia）將在這個(gè)研討所資助貿(mào)易化AI技巧的盡力。

　　資金的涌入比該中間的結(jié)合開(kāi)創(chuàng)人喬丹o雅各布斯（Jordan Jacobs）假想的更快。該中間別的兩位結(jié)合開(kāi)創(chuàng)人對(duì)多倫多地域的公司停止了查詢拜訪，發(fā)明該地域?qū)I專家的需求，是加拿年夜每一年造就的專家人數(shù)的10倍。全球正在鼓起一股深度進(jìn)修的高潮，而這個(gè)研討所愿望站在這股潮水中間——聚焦于這類技巧，教授它，改良它，而且運(yùn)用它。數(shù)據(jù)中間正在扶植中，始創(chuàng)公司接踵而至，先生們正在入場(chǎng)。

　　而“深度進(jìn)修之父”喬弗里o辛頓（Geoffrey Hinton）也住在多倫多。雅各布斯說(shuō)：“再過(guò)30年，我們回頭來(lái)看，就會(huì)說(shuō)辛頓是AI和深度進(jìn)修范疇的愛(ài)因斯坦。”

　　辛頓的門生們?cè)谔O(píng)果、Facebook和OpenAI主管AI試驗(yàn)室，辛頓本身是谷歌年夜腦（Google Brain） AI團(tuán)隊(duì)的首席迷信家?，F(xiàn)實(shí)上，AI的比來(lái)十年來(lái)的簡(jiǎn)直每個(gè)造詣——翻譯、語(yǔ)音辨認(rèn)、圖象辨認(rèn)和游戲弄法都和辛頓奠基的基本分不開(kāi)。

　　深刻進(jìn)修的重要理念其其實(shí)30年前就曾經(jīng)提出。辛頓與同事戴維o羅姆哈特（David Rumelhart）、羅蘭德o威廉姆斯（Ronald Williams）在1986年揭橥了一篇沖破性的文章，具體論述了一種稱為 “反向流傳”的技巧。用普林斯頓年夜學(xué)的盤(pán)算心思學(xué)家喬o科恩（Jon Cohen）的話來(lái)講，這類技巧是“一切深度進(jìn)修的基本”。

　　這篇1980年月中期的文章引見(jiàn)了若何練習(xí)多條理神經(jīng)收集。它為近十年來(lái)AI范疇的成長(zhǎng)提高奠基了基本。

　　深度進(jìn)修就是反向流傳

　　現(xiàn)在從某種角度上說(shuō)，AI就是深度進(jìn)修，而深度進(jìn)修就是反向流傳。你能夠覺(jué)得弗成思議，一個(gè)技巧怎樣冬眠了這么長(zhǎng)時(shí)光，然后忽然涌現(xiàn)了迸發(fā)式的突起。一個(gè)不雅點(diǎn)是：或許我們?nèi)缃衿鋵?shí)不是處在一場(chǎng)反動(dòng)的開(kāi)端階段，而是在進(jìn)入它的序幕。

　　辛頓來(lái)自英國(guó)，曾在匹茲堡的卡內(nèi)基梅隆年夜學(xué)任務(wù)，1980年月搬到了多倫多。他愛(ài)好這座城市的氣氛。

　　辛頓說(shuō)，他比來(lái)在一個(gè)項(xiàng)目上獲得了嚴(yán)重沖破，“找到了一個(gè)異常好的低級(jí)工程師，跟我一路任務(wù)，”這個(gè)女工程師名叫薩拉o薩福，是伊朗人，她在美國(guó)請(qǐng)求任務(wù)簽證被謝絕了。 谷歌在多倫多的辦公室接收了她。

　　在1980年月，辛頓曾經(jīng)是神經(jīng)收集專家。神經(jīng)收集是一個(gè)年夜年夜簡(jiǎn)化的年夜腦神經(jīng)元和突觸收集模子。固然最早的神經(jīng)收集“感知器”（Perceptron）在1950年月就開(kāi)端開(kāi)辟，也被譽(yù)為邁向人機(jī)靈能的第一步，然則到了80年月，業(yè)界果斷地以為神經(jīng)收集是AI研討的逝世胡同。

　　1969年，麻省理工學(xué)院的Marvin Minsky和Seymour Papert在一本名為《感知器》的書(shū)中，用數(shù)學(xué)證實(shí)了如許的收集只能履行最根本的功效。這類收集只要兩層神經(jīng)元，一個(gè)輸出層和一個(gè)輸入層。假如一個(gè)收集在輸出和輸入神經(jīng)元之間有更多的層，那末它在實(shí)際上可以處理許多分歧的成績(jī)，只是沒(méi)有人曉得若何練習(xí)它們，所以在理論中，這些神經(jīng)收集是沒(méi)用的。除辛頓等寥寥幾小我以外，《感知器》使得年夜多半人都完整廢棄了神經(jīng)收集。

　　1986年，辛頓獲得沖破，顯示反向流傳可以練習(xí)一個(gè)深層神經(jīng)收集（跨越兩三層的神經(jīng)收集）。然則又花了26年時(shí)光，盤(pán)算才能才成長(zhǎng)到了可以好好應(yīng)用這個(gè)沖破的水平。辛頓和他的兩個(gè)先生的2012年揭橥論文，顯示反向流傳練習(xí)的深層神經(jīng)收集在圖象辨認(rèn)中擊敗了最早進(jìn)的體系。 “深度進(jìn)修”從此成為一股高潮。在外界看來(lái)，AI仿佛是在一夜之間蓬勃成長(zhǎng)起來(lái)的。但關(guān)于辛頓來(lái)講，這倒是一個(gè)遲來(lái)的迸發(fā)。

　　神經(jīng)收集的道理

　　神經(jīng)收集平日被描寫(xiě)成一個(gè)多層三明治，層層疊疊。這些層里包括著天然神經(jīng)元，指的是渺小的盤(pán)算單元，它可以遭到激起 （就像真實(shí)的神經(jīng)元會(huì)被激起那樣），然后將高興度傳遞給它所銜接的其他神經(jīng)元。神經(jīng)元的高興度由數(shù)字來(lái)代表，好比0.13或32.39。別的，在每?jī)蓚€(gè)神經(jīng)元之間的銜接上，還有一個(gè)癥結(jié)數(shù)字，決議了若干高興度可以從一個(gè)神經(jīng)元傳遞到另外一個(gè)。這個(gè)數(shù)字是在模仿年夜腦神經(jīng)元之間突觸的給力水平。當(dāng)這個(gè)數(shù)字比擬高時(shí)，就意味著兩個(gè)神經(jīng)元之間的銜接更強(qiáng)，可以把更多的高興度傳遞給對(duì)方。

　　深層神經(jīng)收集最勝利的運(yùn)用之一就是在圖象辨認(rèn)中，該團(tuán)隊(duì)開(kāi)辟了一個(gè)法式，可以斷定圖片中能否有熱狗。在十年前，如許的法式是弗成能完成的。開(kāi)辟這類法式的第一步是找到一張照片。為了簡(jiǎn)略起見(jiàn)，你可使用一張?jiān)嵳r圖象，100像素寬，100像素高。你把這張圖象輸出到神經(jīng)收集——也就是給輸出層中每一個(gè)模仿神經(jīng)元設(shè)置高興度，使之和每一個(gè)像素的亮度吻合。這個(gè)多層三明治的底層就是10000個(gè)神經(jīng)元（100x100），代表圖象中每一個(gè)像素的亮度。

　　然后，你將這一層神經(jīng)元銜接到下面的另外一層神經(jīng)元層（有幾千個(gè)神經(jīng)元），再持續(xù)連一層神經(jīng)元層（也有幾千個(gè)神經(jīng)元），如斯這般。最初，在這個(gè)三明治的最下層是輸入層，它只要兩個(gè)神經(jīng)元 ， 一個(gè)代表“有熱狗”，另外一個(gè)代表“沒(méi)有熱狗”。其理念就是讓神經(jīng)收集學(xué)會(huì)只要當(dāng)圖片里有熱狗的時(shí)刻，才會(huì)激起“有熱狗”的神經(jīng)元，只要在圖片里沒(méi)有熱狗的時(shí)刻，才會(huì)激起“沒(méi)有熱狗”的神經(jīng)元。反向流傳就是做到這一點(diǎn)的辦法。

　　若何應(yīng)用反向流傳技巧

　　反向流傳自己異常簡(jiǎn)略，雖然它在有年夜量數(shù)據(jù)可用的情形下后果最好。這就是為何年夜數(shù)據(jù)在AI中如斯主要的緣由——和為何Facebook和谷歌如斯盼望數(shù)據(jù)的緣由。

　　在練習(xí)神經(jīng)收集的時(shí)刻，你須要應(yīng)用數(shù)以百萬(wàn)計(jì)的圖片，一些有熱狗，一些沒(méi)有。而竅門就是那些有熱狗的圖片被標(biāo)志為有熱狗。在一個(gè)初始神經(jīng)收集中，神經(jīng)元之間的銜接權(quán)重（表現(xiàn)每一個(gè)銜接傳遞的高興度的若干）能夠是隨機(jī)數(shù)，就似乎是年夜腦的突觸還沒(méi)有調(diào)劑好。 反向流傳的目的是轉(zhuǎn)變這些權(quán)重，讓神經(jīng)收集可以取得很好的后果：當(dāng)你將熱狗的圖片輸出到最低層時(shí)，最頂層的“有熱狗”神經(jīng)元終究會(huì)變得高興起來(lái)。

　　假定你拔取的第一幅練習(xí)圖片里是一架鋼琴。你將這個(gè)100x100圖象中的像素強(qiáng)度轉(zhuǎn)換為10000個(gè)數(shù)字，正好分給收集底層中的10000個(gè)神經(jīng)元。然后高興度依據(jù)相鄰神經(jīng)元層之間的銜接權(quán)重在這個(gè)收集上過(guò)濾，達(dá)到最初一層斷定圖片中能否有熱狗的兩個(gè)神經(jīng)元。因?yàn)閳D片是鋼琴，在幻想情形下，“有熱狗”神經(jīng)元應(yīng)當(dāng)?shù)贸鲆粋€(gè)0，而“沒(méi)有熱狗”神經(jīng)元應(yīng)當(dāng)?shù)贸龊芨叩臄?shù)字。然則我們假定這個(gè)神經(jīng)收集后果欠好，對(duì)這張照片得出了毛病結(jié)論。這時(shí)候你就應(yīng)用反向流傳技巧，來(lái)從新調(diào)劑收集中每一個(gè)銜接的權(quán)重，以便修改毛病。

　　它的任務(wù)道理是從最初兩個(gè)神經(jīng)元開(kāi)端，弄清晰它們錯(cuò)很多兇猛：高興度的數(shù)字應(yīng)當(dāng)是若干，現(xiàn)實(shí)上是若干，差異有多年夜？當(dāng)如許做的時(shí)刻，你要檢討達(dá)到這些神經(jīng)元（和下一層的那些神經(jīng)元）的每一個(gè)銜接是甚么，并弄清晰它們對(duì)毛病的進(jìn)獻(xiàn)有多年夜。你一向如許剖析直到第一層，也就是收集的最底層。這時(shí)候候，你就曉得每一個(gè)零丁的銜接對(duì)全部毛病的進(jìn)獻(xiàn)是若干了，最初，你可以依照在最年夜水平上削減全體毛病的年夜偏向來(lái)修正每一個(gè)權(quán)重。這個(gè)技巧被稱為“反向流傳”，由于你是從輸入開(kāi)端，反偏向?qū)γ⊥Ｖ蛊饰龅摹?/p>

　　神經(jīng)收集的奇異和愚昧

　　奧妙的是，當(dāng)你有成百上萬(wàn)萬(wàn)，乃至數(shù)以十億計(jì)的圖象，再依照這個(gè)方法操作的時(shí)刻，神經(jīng)收集就會(huì)變得異常善于于辨認(rèn)圖象中能否有熱狗。更奧妙的是，圖象辨認(rèn)收集中的各個(gè)層開(kāi)端可以或許用和人類視覺(jué)體系雷同的方法來(lái)“檢查”圖象。也就是說(shuō)，第一層能夠會(huì)檢測(cè)邊沿——當(dāng)有邊沿時(shí)，它的神經(jīng)元就被激起，當(dāng)沒(méi)有邊沿時(shí)，則不會(huì)激起；下面一層能夠會(huì)檢測(cè)到一組邊沿，好比檢測(cè)出一個(gè)角；然后再下面的層便可能開(kāi)端看到外形；再下面的層能夠會(huì)開(kāi)端辨認(rèn)出“開(kāi)了口的面包”或“沒(méi)啟齒的面包”如許的器械。換句話說(shuō)，法式員不須要自動(dòng)地這么編程，這個(gè)神經(jīng)收集就會(huì)本身構(gòu)成一個(gè)品級(jí)化的條理。

　　須要記得的是：雖然這些“深度進(jìn)修”體系有時(shí)刻看起來(lái)很聰慧，但它們依然很愚昧。假如有一張圖片顯示一堆甜甜圈放在桌子上，而法式可以主動(dòng)地將其標(biāo)示為“堆在桌子上的一堆甜甜圈”的時(shí)刻，你能夠認(rèn)為這個(gè)法式很聰慧。然則當(dāng)統(tǒng)一個(gè)法式看到一個(gè)女孩刷牙的照片，會(huì)將其標(biāo)識(shí)為“男孩拿著棒球棒”，這時(shí)候你就會(huì)發(fā)明，它對(duì)世界缺少懂得。

　　神經(jīng)收集只是有意識(shí)的隱約形式辨認(rèn)器，你可以將它們集成到簡(jiǎn)直一切類型的軟件中。然則 它們包含的智能很無(wú)限，并且輕易被誘騙。假如你更改單個(gè)像素，一個(gè)辨認(rèn)圖象的深層神經(jīng)收集能夠就會(huì)完整傻失落。我們?cè)诎l(fā)明深度進(jìn)修的更多應(yīng)用辦法的同時(shí)，也在頻仍發(fā)明它的局限性。主動(dòng)駕駛的汽車能夠沒(méi)法應(yīng)對(duì)之前從未見(jiàn)過(guò)的路況。機(jī)械也沒(méi)法解析須要應(yīng)用知識(shí)能力懂得的句子。

　　從某種水平上說(shuō)，深度進(jìn)修模擬了人類年夜腦中產(chǎn)生的工作，但模擬的水平異常淺易 —— 這或許說(shuō)明了為何它的智力有時(shí)看起來(lái)很無(wú)限?，F(xiàn)實(shí)上，反向流傳其實(shí)不是經(jīng)由過(guò)程深刻摸索年夜腦，解讀思惟自己來(lái)解密思惟的。它的基本現(xiàn)實(shí)上是前提反射試驗(yàn)中植物若何應(yīng)用試錯(cuò)法的進(jìn)修形式。它的許多偉大奔騰并沒(méi)有歸入神經(jīng)迷信的一些新洞見(jiàn)，而是多年來(lái)在數(shù)學(xué)上和工程上積聚的技巧改良。我們對(duì)智能的懂得，絕對(duì)于我們尚不懂得的部門來(lái)講，只是九牛一毫。

　　“物理學(xué)涌現(xiàn)之前的工程學(xué)”

　　多倫多年夜學(xué)的助理傳授戴維o杜文多（David Duvenaud）說(shuō)，今朝深度進(jìn)修就像是“物理學(xué)涌現(xiàn)之前的工程學(xué)”。 他是這么說(shuō)明的：“有人寫(xiě)了一篇文章，說(shuō)‘我造好了這座橋！’另外一小我發(fā)了論文：‘我造了這座橋，它倒下了——然后我添加了支柱，它就立起來(lái)了。’因而柱子就成了年夜熱點(diǎn)。有人想到了應(yīng)用橋拱，‘橋拱很棒！’然則直到有了物理學(xué)以后，你才明確怎樣造橋能不倒，為何。”他說(shuō)，直到比來(lái)，人工智能界才開(kāi)端走入這個(gè)現(xiàn)實(shí)懂得它的階段。

　　辛頓以為，戰(zhàn)勝AI的局限性是樹(shù)立“盤(pán)算機(jī)迷信與生物學(xué)之間的橋梁”。在這類不雅點(diǎn)下，反向流傳是一種“生物啟示的盤(pán)算”的成功。它的靈感不是來(lái)自工程學(xué)，而是心思學(xué)。如今，辛頓正摸索一個(gè)新的辦法。

　　如今的神經(jīng)收集是由偉大的立體層構(gòu)成的，然則在人類新皮層中，真實(shí)的神經(jīng)元不只僅是程度組成條理，并且也是垂直分列成柱狀的。 辛頓以為，他曉得這些柱狀有甚么用——好比即便我們的視角轉(zhuǎn)變，也能辨認(rèn)出對(duì)象——所以他正在構(gòu)建相似的“膠囊” ，來(lái)測(cè)試這個(gè)實(shí)際。到今朝為止，膠囊還沒(méi)有年夜年夜進(jìn)步神經(jīng)收集的表示。然則，他30年條件出的反向流傳也是直到不久前才顯示出驚人后果的。

　　“它不見(jiàn)效能夠只是臨時(shí)的。” 他在談到膠囊實(shí)際時(shí)說(shuō)。