在剛曩昔的周末，OpenAI 的人工智能花了 10 分鐘就打敗了人類的 Dota 世界冠軍。正這樣多讀者所知，游戲是很多研發人員用來練習人工智能的對象。

　　在 OpenAI 位于舊金山的辦公室里，研討人員 Dario Amodei 正在經由過程賽船冠軍賽（Coast Runners）來練習人工智能。不外，這小我工智能似乎有點掉控了。

　　賽船冠軍賽的游戲規矩很簡略，假如想贏，選手必需搜集到最多的分數，然后跨過起點線。

　　但 Amodei 的人工智能玩著玩著有點過分了，它在賡續地尋求高分，不但毫無跨過起點線的意思，反倒為了要多轉幾個圈拿高分，它開端和其它賽船碰撞，或是在進程中本身撞墻爆炸了。

　　為了應對，Amodei 和 OpenAI 的同事 Paul Christiano 正在研發一套不只可以自我進修，同時也情愿接收人工監控的算法。

　　（Amodei 在告訴人工智能，如何的操作形式才更好）

　　在賽船游戲的練習中， Amodei 和同事將不時經由過程按鍵來指出人工智能的欠妥的地方，告訴人工智能，不只要贏分數，同時也要跨過起點線。他們以為，這類包括了人工干涉成份的算法可以確保體系平安性。

　　而在 Google 旗下 DeepMind 的研討人員也贊成 Amodei 和同事的設法主意。兩個團隊，分離代表了 OpenAI 和 DeepMind，比來罕有地協作揭橥了部門人工智能平安方面的研討論文。

　　除此之外，Google 旗下的 Google Brain，和來自伯克利年夜學和斯坦福年夜學的研討團隊，都設有該偏向研討課題，從分歧方面斟酌人工智能平安成績。

　　除這類在自我進修進程中“弄錯重點”的潛伏風險，另外一個可料想的人工智能風險在于“為了完成義務，謝絕被開辟者關機”。

　　普通在設計人工智能時，研發人員都邑給它設定“目的”，就像賽艇游戲中的“得分”一樣。一旦人工智能將取得“分數”為最終目的，它能夠會發生一個辦法論——想要取得加倍多的分數，個中一個辦法就是不封閉本身，如許就可以無盡頭地獲得分數了。

　　伯克利年夜學的研討人員 Dylan Hadfield-Menell 和團隊比來宣布了評論辯論這個成績的論文。他們以為，假如在設盤算法的時刻，讓人工智能對目的堅持必定不肯定性，它們才有能夠情愿保存本身的“關機鍵”。他們采取了數字方法來測驗考試完成這個設置，今朝還處于實際階段。

　　除人工智能自我“掉控”，研討人員還在斟酌黑客對人工智能的干涉影響。

　　古代盤算機視覺基于深度神經收集（deep neural networks），它經由過程進修剖析年夜批量數據來構成對形式的懂得。也就是說，假如要讓盤算機學會甚么是“狗”，那就讓它剖析年夜批量狗的圖片，并從中尋覓紀律。

　　但 Google 的 Ian Goodfellow 則以為，這類形式能夠會為黑客供給“蒙騙”人工智能的機遇。Goodfellow 和其它研討人員曾展現，只需修正圖片中的幾個特定像素，他們就可以讓神經收集信任圖片中的年夜象是一輛汽車。

　　假如這個神經收集是運用在安保鏡頭的話，如許就成績年夜了。

　　即使你用了數百萬張標記了‘人’的照片來練習一個物件辨認體系，你照樣可以隨意馬虎拿出體系和人工辨認 100% 分歧意的圖片。我們須要認清這類景象。

　　Goodfellow 說道。固然這些研討年夜多仍處于實際階段，但這群努力于將不測扼制于搖籃的研討人員深信，越早開端斟酌這個成績越好。DeepMind 人工智能平安方面的擔任人 Shane Legg 說道：

　　固然我們還不克不及肯定，人工智能將以多塊地速度成長。但我們的義務是測驗考試懂得并猜想，這類技巧將有能夠以哪一種方法被誤用，并測驗考試找出分歧的應對方法。