智東西2月25日消息，OpenAI CEO薩姆·阿爾特曼（Sam Altman）發(fā)布博客文章，分享OpenAI對(duì)通用人工智能（AGI）的當(dāng)前和后續(xù)規(guī)劃，以及OpenAI如何駕馭AI安全風(fēng)險(xiǎn)、轉(zhuǎn)向營(yíng)利性公司結(jié)構(gòu)后如何分配收益和治理等話題。

(資料圖)

阿爾特曼強(qiáng)調(diào)OpenAI的使命是確保AGI造福全人類，AGI如果被成功創(chuàng)造出來(lái)，可通過(guò)增加豐富度、推動(dòng)全球經(jīng)濟(jì)發(fā)展以及幫助發(fā)現(xiàn)改變可能性極限的新科學(xué)知識(shí)，來(lái)幫助我們提升人類。

他認(rèn)為短期內(nèi)，成功應(yīng)對(duì)AI部署挑戰(zhàn)的最佳方法是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)；長(zhǎng)期來(lái)看，過(guò)渡到一個(gè)擁有超級(jí)智能的世界可能是人類歷史上最重要、最有希望、最可怕的項(xiàng)目。

他還重申OpenAI的公司結(jié)構(gòu)與正確的激勵(lì)措施保持一致，強(qiáng)調(diào)OpenAI由“非營(yíng)利組織”管理、為人類利益服務(wù)的原則能凌駕于任何營(yíng)利利益之上、股東可獲得的回報(bào)有上限。

博客地址：https://openai.com/blog/planning-for-agi-and-beyond/

一、OpenAI最關(guān)心的AGI三原則

博客文章寫(xiě)道，AGI有潛力賦予每個(gè)人不可思議的新能力；我們可以想象這樣一個(gè)世界，所有人都可以在幾乎所有認(rèn)知任務(wù)中獲得幫助，為人類的聰明才智和創(chuàng)造力提供巨大的力量倍增器。

另一方面，AGI也會(huì)帶來(lái)濫用、嚴(yán)重事故和社會(huì)混亂的風(fēng)險(xiǎn)。由于AGI的優(yōu)勢(shì)很大，OpenAI不認(rèn)為社會(huì)永遠(yuǎn)停止其發(fā)展是可能的或可取的；社會(huì)和AGI的開(kāi)發(fā)者必須想辦法把它做好。

阿爾特曼在文中闡明了OpenAI最關(guān)心的原則：

1、希望AGI能讓人類在宇宙中最大限度地繁榮發(fā)展。不期望未來(lái)是個(gè)不合格的烏托邦，但希望最大化好，最小化差，讓AGI成為人類的放大器。

2、希望廣泛和公平地分享AGI的好處、獲取和治理。

3、希望成功應(yīng)對(duì)巨大風(fēng)險(xiǎn)。在面對(duì)這些風(fēng)險(xiǎn)時(shí)，理論上看似正確的事情在實(shí)踐中往往表現(xiàn)得比預(yù)期的更奇怪。OpenAI認(rèn)為必須通過(guò)部署功能較弱的技術(shù)版本來(lái)不斷學(xué)習(xí)和適應(yīng)，盡量減少“一次成功”的情況。

二、短期內(nèi)，為AGI做好的三項(xiàng)準(zhǔn)備

OpenAI認(rèn)為有三件事很重要，可為AGI做準(zhǔn)備。

首先，當(dāng)不斷創(chuàng)建更強(qiáng)大的系統(tǒng)，OpenAI希望部署它們，并獲得在現(xiàn)實(shí)世界中操作它們的經(jīng)驗(yàn)。OpenAI相信這是謹(jǐn)慎管理AGI存在的最佳方式，逐漸過(guò)渡到AGI世界比突然過(guò)渡要好。OpenAI期望強(qiáng)大的AI能夠加快世界的進(jìn)步速度，而且最好是逐步適應(yīng)這一點(diǎn)。

漸進(jìn)式的過(guò)渡讓人們、政策制定者和機(jī)構(gòu)有時(shí)間了解正在發(fā)生的事情，親身體驗(yàn)這些系統(tǒng)的好處和缺點(diǎn)，調(diào)整經(jīng)濟(jì)并實(shí)施監(jiān)管。它還允許社會(huì)和人工智能（AI）共同進(jìn)化，讓人們?cè)陲L(fēng)險(xiǎn)相對(duì)較低的情況下共同找出自己想要的東西。

OpenAI目前認(rèn)為，成功應(yīng)對(duì)AI部署挑戰(zhàn)的最佳方法是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)。社會(huì)將面臨AI系統(tǒng)被允許做什么、如何消除偏見(jiàn)、如何處理工作崗位流失等重大問(wèn)題。最佳決策將取決于技術(shù)發(fā)展路徑，就像任何新領(lǐng)域一樣，到目前為止，大多數(shù)專家預(yù)測(cè)都是錯(cuò)誤的。這使得脫離實(shí)際進(jìn)行規(guī)劃非常困難。

總的來(lái)說(shuō)，OpenAI認(rèn)為在世界上更多地使用AI會(huì)帶來(lái)好處并希望推動(dòng)它（通過(guò)將模型放入OpenAI API中、將它們開(kāi)源等）。OpenAI相信，民主化的獲取也將帶來(lái)更多更好的研究、分散的權(quán)力、更多的利益以及更多的人貢獻(xiàn)新的想法。

隨著其系統(tǒng)越來(lái)越接近AGI，OpenAI對(duì)模型的創(chuàng)建和部署變得越來(lái)越謹(jǐn)慎。其決定將需要比社會(huì)通常對(duì)新技術(shù)應(yīng)用的謹(jǐn)慎得多，也比許多用戶希望的謹(jǐn)慎得多。AI領(lǐng)域的一些人認(rèn)為AGI（及后繼系統(tǒng)）的風(fēng)險(xiǎn)是虛構(gòu)的；如果結(jié)果證明他們是對(duì)的，OpenAI會(huì)很高興，但OpenAI會(huì)以認(rèn)為這些風(fēng)險(xiǎn)存在的方式來(lái)運(yùn)作。

某些時(shí)候，部署的利弊之間的平衡（例如授權(quán)惡意行為者、造成社會(huì)和經(jīng)濟(jì)破壞、加速不安全的競(jìng)爭(zhēng)）可能會(huì)發(fā)生變化，在此情況下，OpenAI將會(huì)顯著改變圍繞持續(xù)部署的計(jì)劃。

其次，OpenAI正在努力創(chuàng)建更加一致和可控的模型。從GPT-3第一版模型到InstructGPT和ChatGPT的轉(zhuǎn)變就是一個(gè)早期的例子。

特別是，OpenAI認(rèn)為重要的是社會(huì)就“如何使用AI的廣泛界限”達(dá)成一致，但在這些界限內(nèi)，個(gè)人用戶有很大的自由裁量權(quán)。OpenAI最終希望世界機(jī)構(gòu)就“這些廣泛的界限應(yīng)該是什么”達(dá)成一致；在短期內(nèi)，OpenAI計(jì)劃進(jìn)行外部投入實(shí)驗(yàn)。世界各機(jī)構(gòu)需要增加更多的能力和經(jīng)驗(yàn)，以便為有關(guān)AGI的復(fù)雜決策做好準(zhǔn)備。

OpenAI產(chǎn)品的“默認(rèn)設(shè)置”可能會(huì)受到很大限制，但OpenAI計(jì)劃讓用戶更輕松改變他們正在使用的AI的行為。OpenAI相信賦予個(gè)人做出自己決定的能力和思想多樣性的內(nèi)在力量。

隨著其模型變得更加強(qiáng)大，OpenAI將需要開(kāi)發(fā)新的對(duì)齊（alignment）技術(shù)（并測(cè)試以了解當(dāng)前的技術(shù)何時(shí)失效）。其短期計(jì)劃是使用AI來(lái)幫助人類評(píng)估更復(fù)雜模型的輸出和監(jiān)控復(fù)雜系統(tǒng)；長(zhǎng)期計(jì)劃是使用AI來(lái)幫助提出新的想法以實(shí)現(xiàn)更好的對(duì)齊技術(shù)。

重要的是，OpenAI認(rèn)為經(jīng)常需在AI安全和能力方面共同取得進(jìn)展。分開(kāi)談?wù)撍鼈兪清e(cuò)誤的二分法，它們?cè)诤芏喾矫嬗嘘P(guān)聯(lián)。OpenAI最好的安全工作來(lái)自與其最有能力的模型一起工作。也就是說(shuō)，提高安全進(jìn)步與能力進(jìn)步的比率很重要。

第三，OpenAI希望就3個(gè)關(guān)鍵問(wèn)題展開(kāi)全球?qū)υ挘?strong>如何治理這些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，如何公平共享獲取這些系統(tǒng)的機(jī)會(huì)。

除了這三個(gè)領(lǐng)域之外，OpenAI還嘗試以一種使激勵(lì)措施與良好結(jié)果相一致的方式來(lái)建立其結(jié)構(gòu)。OpenAI的章程中有一個(gè)條款，關(guān)于協(xié)助其他組織提高安全性，而非在后期AGI開(kāi)發(fā)中與之競(jìng)爭(zhēng)。OpenAI對(duì)股東可以獲得的回報(bào)設(shè)定了上限，這樣公司就不會(huì)被激勵(lì)去不受約束地獲取價(jià)值，也不會(huì)冒險(xiǎn)部署一些具有潛在災(zāi)難性危險(xiǎn)的東西（當(dāng)然也是作為與社會(huì)分享利益的一種方式）。

OpenAI由一個(gè)非營(yíng)利組織來(lái)管理，使其為人類的利益而經(jīng)營(yíng)（并能凌駕于任何營(yíng)利利益之上），包括讓OpenAI做一些事情，比如在安全需要的情況下取消對(duì)股東的股權(quán)義務(wù)，贊助世界上最全面的全民基本收入（UBI）實(shí)驗(yàn)。

OpenAI認(rèn)為像這樣的努力在發(fā)布新系統(tǒng)之前必須接受獨(dú)立審計(jì)；他們將在今年晚些時(shí)候更詳細(xì)地討論這個(gè)問(wèn)題。某些時(shí)候，在開(kāi)始訓(xùn)練未來(lái)系統(tǒng)之前，進(jìn)行獨(dú)立審查可能很重要，并且對(duì)于最先進(jìn)的努力，同意限制用于創(chuàng)建新模型的計(jì)算增長(zhǎng)速度。OpenAI認(rèn)為，關(guān)于AGI何時(shí)應(yīng)停止訓(xùn)練運(yùn)行、確定模型可以安全發(fā)布、將模型從生產(chǎn)使用中撤出的公共標(biāo)準(zhǔn)很重要。最后，OpenAI認(rèn)為重要的是世界主要政府對(duì)超過(guò)一定規(guī)模的訓(xùn)練有著深刻的認(rèn)識(shí)。

三、長(zhǎng)遠(yuǎn)來(lái)看：人類的未來(lái)應(yīng)由人類主宰

OpenAI認(rèn)為，人類的未來(lái)應(yīng)該由人類決定，與公眾分享有關(guān)進(jìn)步的信息很重要。應(yīng)該對(duì)所有試圖建立AGI的努力進(jìn)行嚴(yán)格審查，并對(duì)重大決策進(jìn)行公眾咨詢。

第一個(gè)AGI將只是智能連續(xù)體上的一個(gè)點(diǎn)。OpenAI認(rèn)為，進(jìn)展很可能會(huì)從那里繼續(xù)，可能會(huì)長(zhǎng)期保持其在過(guò)去十年中看到的進(jìn)展速度。如果真是如此，世界可能會(huì)變得與今天截然不同，風(fēng)險(xiǎn)也許是巨大的。一個(gè)錯(cuò)位的超級(jí)智能AGI可能會(huì)對(duì)世界造成嚴(yán)重的傷害；一個(gè)擁有決定性超級(jí)智能領(lǐng)導(dǎo)的專制政權(quán)也可以做到這一點(diǎn)。

可加速科學(xué)發(fā)展的AI是一個(gè)值得思考的特例，也許比其他任何事情都更有影響力。能加速自身進(jìn)步的AGI可能會(huì)導(dǎo)致重大變化以驚人的速度發(fā)生（即使過(guò)渡開(kāi)始緩慢，OpenAI預(yù)計(jì)也它在最后階段會(huì)很快發(fā)生）。

OpenAI認(rèn)為較慢的開(kāi)始更容易確保安全，AGI努力在關(guān)鍵時(shí)刻減速可能很重要（即使在不需要這樣做來(lái)解決技術(shù)對(duì)齊問(wèn)題的世界中，減速可能對(duì)給社會(huì)足夠的時(shí)間來(lái)適應(yīng)很重要）。

成功過(guò)渡到一個(gè)擁有超級(jí)智能的世界可能是人類歷史上最重要、最有希望、最可怕的項(xiàng)目。成功遠(yuǎn)未得到保證，而風(fēng)險(xiǎn)（無(wú)限的不利因素和無(wú)限的有利因素）有望將我們所有人團(tuán)結(jié)起來(lái)。

OpenAI可以想象到一個(gè)人類繁榮到任何人都無(wú)法完全想象的世界。OpenAI希望為世界貢獻(xiàn)一個(gè)與這種繁榮相一致的AGI。

結(jié)語(yǔ)：通往AGI之路，OpenAI收獲了很多禮物

在文章末尾，阿爾特曼留下腳注，稱OpenAI似乎收獲了很多禮物：“例如，創(chuàng)建AGI似乎需要大量的計(jì)算，因此世界將知道誰(shuí)在研究它，似乎超進(jìn)化的強(qiáng)化學(xué)習(xí)智能體的原始概念相互競(jìng)爭(zhēng)，以我們無(wú)法真正觀察到的方式進(jìn)化智能的可能性比最初看起來(lái)的要小，幾乎沒(méi)有人預(yù)測(cè)我們會(huì)在預(yù)先訓(xùn)練的語(yǔ)言模型上取得這么大的進(jìn)展，這些模型可以從人類的集體偏好和輸出中學(xué)習(xí)，等等。”

他相信，AGI可能在不久的將來(lái)或遙遠(yuǎn)的將來(lái)出現(xiàn)；從最初的AGI到更強(qiáng)大的后續(xù)系統(tǒng)的起飛速度可能會(huì)慢或快。許多人認(rèn)為在這個(gè)2×2矩陣中最安全的象限是短時(shí)間線和緩慢的起飛速度；更短的時(shí)間線似乎更易于協(xié)調(diào)，更有可能因較少的計(jì)算積壓導(dǎo)致較慢的起飛，而較慢的起飛使OpenAI有更多時(shí)間來(lái)實(shí)證弄清楚如何解決安全問(wèn)題以及如何適應(yīng)。

“當(dāng)我們第一次啟動(dòng)OpenAI時(shí)，我們并沒(méi)有預(yù)料到擴(kuò)展性會(huì)像現(xiàn)在這樣重要。當(dāng)我們意識(shí)到它將變得至關(guān)重要時(shí)，我們也意識(shí)到我們?cè)瓉?lái)的結(jié)構(gòu)將不起作用——我們根本無(wú)法籌集到足夠的資金來(lái)完成我們作為非營(yíng)利組織的使命——所以我們想出了一個(gè)新的結(jié)構(gòu)。”阿爾特曼說(shuō)。

“我們現(xiàn)在認(rèn)為，我們最初關(guān)于開(kāi)放的想法是錯(cuò)誤的，已經(jīng)從認(rèn)為我們應(yīng)該發(fā)布所有東西（盡管我們開(kāi)源了一些東西，并期望在未來(lái)開(kāi)源更多令人興奮的東西！）轉(zhuǎn)向認(rèn)為我們應(yīng)該弄清楚如何安全地共享系統(tǒng)的訪問(wèn)權(quán)限和好處。”他談道，“我們?nèi)匀幌嘈牛鐣?huì)理解正在發(fā)生的事情的好處是巨大的，實(shí)現(xiàn)這種理解是確保構(gòu)建的東西是社會(huì)集體想要的最好方式（顯然這里有很多細(xì)微差別和沖突）。”

關(guān)鍵詞： openai