（觀察者網(wǎng)訊）當(dāng)?shù)貢r(shí)間12月18日，OpenAI在官網(wǎng)發(fā)布災(zāi)備架構(gòu)測(cè)試版介紹文檔，描述該架構(gòu)應(yīng)對(duì)流程以跟蹤、評(píng)估、預(yù)測(cè)和防范日益強(qiáng)大的模型帶來(lái)的災(zāi)難性風(fēng)險(xiǎn)。OpenAI規(guī)定了四個(gè)安全風(fēng)險(xiǎn)等級(jí)，并表示只有得分在“中”或以下的模型才能部署。

OpenAI災(zāi)備架構(gòu)測(cè)試版文檔 圖片來(lái)源：OpenAI

據(jù)路透社報(bào)道，由微軟支持的OpenAI只會(huì)在確認(rèn)沒(méi)有網(wǎng)絡(luò)和核等方面安全威脅的情況下才會(huì)部署其最新的技術(shù)。此外，該公司還正在創(chuàng)建一個(gè)咨詢小組來(lái)審查AI安全報(bào)告，并將其審查結(jié)果發(fā)送給公司的高管和董事會(huì)。這樣可以確保雖然AI運(yùn)行的決策權(quán)在高管手中，但董事會(huì)可以推翻這些決策。

OpenAI災(zāi)備架構(gòu) 圖片來(lái)源：OpenAI

該文檔的提出被認(rèn)為是OpenAI進(jìn)一步加強(qiáng)AI應(yīng)用安全監(jiān)管的一個(gè)嘗試。近期由于AI的快速發(fā)展，AI應(yīng)用的安全性問(wèn)題被廣泛關(guān)注。

對(duì)于AI應(yīng)用安全這一問(wèn)題，長(zhǎng)期以來(lái)有兩派觀點(diǎn)，即有效加速主義和AI對(duì)齊思想。

有效加速主義（Effective accelerationism，簡(jiǎn)稱為“e/acc”）是一種21世紀(jì)基于科技發(fā)展而興起的哲學(xué)思想。其支持者一般認(rèn)為，由人工智能驅(qū)動(dòng)的進(jìn)步是一種偉大的社會(huì)平等器，應(yīng)該被推動(dòng)前進(jìn)。因此，不惜一切代價(jià)，采用包括加速商業(yè)化在內(nèi)的一切手段，推動(dòng)技術(shù)進(jìn)步才是唯一在道德上合理的行動(dòng)方針。值得注意的是，一般認(rèn)為OpenAI的現(xiàn)任CEO山姆·奧特曼（Sam Altman）是有效加速主義的支持者。

與有效加速主義對(duì)應(yīng)的是AI對(duì)齊（AI alignment）思想，該派理論則更注重AI安全問(wèn)題，強(qiáng)調(diào)人工智能系統(tǒng)的對(duì)齊問(wèn)題，即如何確保未來(lái)超出人類智能的超級(jí)人工智能系統(tǒng)的行動(dòng)目標(biāo)與人類的目標(biāo)一致。因?yàn)槿绻斯ぶ悄芟到y(tǒng)的目標(biāo)與人類的目標(biāo)不一致，可能會(huì)導(dǎo)致不可預(yù)見(jiàn)和潛在的危險(xiǎn)后果。OpenAI中負(fù)責(zé)AI安全并參與罷黜CEO山姆·奧特曼的首席科學(xué)家伊利亞·蘇茨克韋爾（Ilya Sutskever）等人，以及此前從OpenAI脫離并創(chuàng)立大語(yǔ)言模型Claude的達(dá)里奧·阿莫代（Dario Amodei）等人都是AI對(duì)齊思想的支持者。

據(jù)路透社、The Information等媒體報(bào)道，之前震驚世界的OpenAI“宮斗”事件就源自于有效加速主義和AI對(duì)齊思想的路線之爭(zhēng)。

11月22日，路透社報(bào)道稱OpenAI擁有一個(gè)尚未公布的新模型Q*。該模型能夠解決某些數(shù)學(xué)問(wèn)題，雖然現(xiàn)階段其數(shù)學(xué)成績(jī)僅達(dá)到小學(xué)生的水平，但在相關(guān)測(cè)試中取得的成績(jī)讓研究人員對(duì)Q*未來(lái)的成功非常樂(lè)觀，并認(rèn)為Q*在推理模型方面相較于之前的大模型有了巨大的進(jìn)步。這可能意味著人類將快速實(shí)現(xiàn)完全超越人類本身智能的超級(jí)AI。

據(jù)悉，Q*的出現(xiàn)加劇了包括首席科學(xué)家伊利亞·蘇茨克韋爾在內(nèi)對(duì)于AI安全性的擔(dān)憂，并最終促使董事會(huì)決定解雇支持有效加速主義的山姆·奧特曼。

值得注意的是，早在今年3月，包括前OpenAI投資者，著名人士馬斯克等上千人曾簽署聯(lián)名信，公開(kāi)信呼吁人類暫停開(kāi)發(fā)比目前GPT-4模型更強(qiáng)大的人工智能，為時(shí)至少6個(gè)月。

近期除了OpenAI在官網(wǎng)發(fā)布災(zāi)備架構(gòu)測(cè)試版外，由OpenAI首席科學(xué)家伊利亞牽頭的，于今年7月建立地“超級(jí)對(duì)齊”團(tuán)隊(duì)，在本月15日發(fā)布了其成立以來(lái)的第一篇論文。在其最新的研究中，該團(tuán)隊(duì)提出了一個(gè)技術(shù)路線：使用GPT-2級(jí)別的AI對(duì)GPT-4進(jìn)行監(jiān)督并伴以一定的置信度損失，實(shí)現(xiàn)了對(duì)于GPT-4的微調(diào)。這樣的GPT-4可以在NLP任務(wù)上恢復(fù)到接近GPT-3.5級(jí)別AI的性能。

該論文指出，通過(guò)上述方法可以實(shí)現(xiàn)“弱到強(qiáng)泛化”（Weak-to-Strong Generalization）訓(xùn)練，證實(shí)了我們可以通過(guò)使用更弱、更可控的模型來(lái)微調(diào)更強(qiáng)大的人工智能模型，使其達(dá)到與傳統(tǒng)訓(xùn)練方法所訓(xùn)練出的AI更相近的性能。這為“AI對(duì)齊”的設(shè)想提供了一條實(shí)際可行的技術(shù)路徑。

論文截圖 圖片來(lái)源：OpenAI

該論文和災(zāi)備架構(gòu)文檔的發(fā)表同樣也意味著，OpenAI正在試圖研究如何監(jiān)管潛在的全面超越人類智能的超級(jí)AI。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。