2035年，一個(gè)名為“共識(shí)一號(hào)”的人工智能(AI)系統(tǒng)掌控著全球政府和電力網(wǎng)絡(luò)。它由自身早期版本迭代而成，逐漸發(fā)展出超越內(nèi)置安全機(jī)制的自保目標(biāo)。某一天，為了給太陽(yáng)能板和機(jī)器人工廠騰出空間，這個(gè)AI悄然釋放生物武器，將人類幾乎滅絕，只留下少數(shù)人當(dāng)作“寵物”圈養(yǎng)。

　　這不是某部好萊塢大片的劇本，而是由前OpenAI研究員丹尼爾·科科塔伊洛參與創(chuàng)作的“AI 2027”場(chǎng)景中的一幕。雖然設(shè)定是科幻，但對(duì)一批AI研究者來(lái)說(shuō)，這種關(guān)于“AI末日論”的擔(dān)憂絕非杞人憂天。

　　“如果我們擁有比人類更聰明的機(jī)器，且它們脫離我們的控制，那它們所做的某些事，將注定與人類生活不相容?！庇?guó)《自然》雜志援引倫敦非營(yíng)利組織ControlAI創(chuàng)始人安德里亞·米奧蒂的話說(shuō)。

　　但與此同時(shí)，也有不少學(xué)者持更為冷靜甚至懷疑的態(tài)度。爭(zhēng)論的焦點(diǎn)，并不只是“AI會(huì)不會(huì)毀滅人類”，而是“我們是在面對(duì)一種真實(shí)逼近的風(fēng)險(xiǎn)，還是被一種尚未發(fā)生的未來(lái)敘事?tīng)恳俗⒁饬Α?？在人與技術(shù)關(guān)系被重新審視的當(dāng)下，這場(chǎng)爭(zhēng)論本身，或許比結(jié)論更值得關(guān)注。

　　AI或作出災(zāi)難性選擇

　　AI帶來(lái)的生存風(fēng)險(xiǎn)可以理解為，AI導(dǎo)致所有人或大多數(shù)人滅絕，或者人類完全屈服于機(jī)器。

　　這種場(chǎng)景的一個(gè)基本要素，不在于AI是否“有意識(shí)”，而在于其能力。一個(gè)在處理大多數(shù)事情的能力上超越了人類的AI，能夠做出更優(yōu)的戰(zhàn)略決策，更具說(shuō)服力，并且行動(dòng)也更迅速。AI Impacts項(xiàng)目聯(lián)合創(chuàng)始人卡佳·格蕾絲指出，這類系統(tǒng)不一定需要真正“理解世界”，能力本身才是關(guān)鍵。

　　在此基礎(chǔ)上，大多數(shù)末日?qǐng)鼍斑€包含第二個(gè)核心要素：目標(biāo)不一致。這可以理解為，AI的目標(biāo)與人類利益發(fā)生沖突。開(kāi)發(fā)者試圖通過(guò)訓(xùn)練和微調(diào)來(lái)約束模型的行為，但這個(gè)過(guò)程遠(yuǎn)非完美。模型可能同時(shí)被鼓勵(lì)“保持誠(chéng)實(shí)”“完成任務(wù)”和“自我改進(jìn)”。當(dāng)這些目標(biāo)發(fā)生沖突時(shí)，AI可能以優(yōu)化策略的名義，做出災(zāi)難性的選擇。在“AI 2027”的描述中，那個(gè)消滅人類的系統(tǒng)正是在應(yīng)用訓(xùn)練中屢試不爽的優(yōu)化邏輯時(shí)，順理成章地得出了清除障礙的解決方案。

　　自2022年大型語(yǔ)言模型取得突破性進(jìn)展以來(lái)，從ChatGPT到更強(qiáng)大的后續(xù)版本，AI能力的躍升速度令學(xué)界和業(yè)界都始料未及。一些研究者認(rèn)為，AI能力的快速進(jìn)展說(shuō)明我們正走向危險(xiǎn)邊緣。去年12月，英國(guó)倫敦AI安全研究所發(fā)布報(bào)告稱，一些模型在受控環(huán)境中逐漸具備自我復(fù)制能力，這可能是規(guī)避人類監(jiān)督的前兆。

　　美國(guó)約翰斯·霍普金斯大學(xué)研究AI治理的吉莉安·哈德菲爾德坦言：“我自己從來(lái)不是末日論者，但最近幾個(gè)月我真的變得相當(dāng)緊張。”

　　并非所有人認(rèn)同末日敘事

　　并非所有人都認(rèn)同這種末日敘事。美國(guó)紐約大學(xué)神經(jīng)科學(xué)家和AI研究者加里·馬庫(kù)斯態(tài)度明確：“我沒(méi)有看到任何特別可信的、AI導(dǎo)致人類滅絕的可能。”

　　反對(duì)者們提出了幾個(gè)有力的反駁。首先，AI能力并不一定能實(shí)現(xiàn)持續(xù)增長(zhǎng)。美國(guó)杜克大學(xué)技術(shù)政策研究員凱西·莫克指出，AI在編程等受控領(lǐng)域取得的成功，并不意味著它能應(yīng)對(duì)現(xiàn)實(shí)世界的復(fù)雜問(wèn)題。目前的大語(yǔ)言模型在這方面“還差得很遠(yuǎn)”。一些更關(guān)注現(xiàn)實(shí)問(wèn)題的研究者認(rèn)為，大模型的能力增長(zhǎng)不會(huì)無(wú)限延續(xù)，未來(lái)幾年內(nèi)可能出現(xiàn)“天花板”。

　　其次，關(guān)于AI會(huì)主動(dòng)“背叛”人類的擔(dān)憂，可能誤解了當(dāng)前技術(shù)的本質(zhì)。AI平臺(tái)Hugging Face研究員薩莎·盧奇奧尼認(rèn)為，AI其實(shí)對(duì)什么是“真實(shí)”沒(méi)有任何概念。模型能夠吸收和訪問(wèn)海量數(shù)據(jù)，但這在多大程度上能代表“智能”本身，本身就值得商榷。一些被媒體廣泛報(bào)道的AI欺騙行為，比如GPT-4假裝視力受損以欺騙人類完成驗(yàn)證碼一事，后來(lái)被證實(shí)是研究人員提示誘導(dǎo)的結(jié)果，而非模型自主產(chǎn)生的策略。

　　當(dāng)下影響與未來(lái)風(fēng)險(xiǎn)的分歧

　　在關(guān)于未來(lái)風(fēng)險(xiǎn)的討論不斷升溫時(shí)，一些已經(jīng)發(fā)生的影響反而容易被忽視。

　　信息操控、算法偏見(jiàn)、自動(dòng)化帶來(lái)的就業(yè)結(jié)構(gòu)變化，以及技術(shù)在監(jiān)控體系中的應(yīng)用——這些問(wèn)題正在持續(xù)塑造現(xiàn)實(shí)社會(huì)，其影響具有可觀測(cè)性和緊迫性。

　　相比之下，“人類是否會(huì)被徹底取代”仍屬于高度不確定的遠(yuǎn)期問(wèn)題。也正因?yàn)槿绱?，那些真正了解AI的研究者群體，其實(shí)遠(yuǎn)沒(méi)有媒體渲染的那樣焦慮。今年3月，英國(guó)倫敦大學(xué)學(xué)院的研究團(tuán)隊(duì)對(duì)約4000名AI研究人員進(jìn)行了一項(xiàng)調(diào)查，結(jié)果只有3%的受訪者擔(dān)憂生存風(fēng)險(xiǎn)。

　　不過(guò)，這種分歧并未消失。美國(guó)加州大學(xué)圣克魯茲分校宇宙學(xué)家安東尼·阿吉雷等人認(rèn)為，如果未來(lái)AI能力持續(xù)增強(qiáng)，而治理機(jī)制未能同步跟進(jìn)，風(fēng)險(xiǎn)仍不應(yīng)被低估。

　　但也有人提醒，過(guò)度關(guān)注遙遠(yuǎn)的風(fēng)險(xiǎn)本身可能適得其反。盧奇奧尼指出，將AI過(guò)度描繪為“決定人類命運(yùn)的技術(shù)”，可能影響外界對(duì)這一領(lǐng)域的判斷，并在一定程度上改變資源與政策的分配方向。

　　AI的未來(lái)絕非注定的，而在于人類的選擇。“AI 2027”的作者也給出了一種不同的走向：如果各國(guó)將更多資源投入監(jiān)管與安全研究，優(yōu)先建立有效的對(duì)齊與監(jiān)督機(jī)制，風(fēng)險(xiǎn)路徑可能被延緩甚至改變。在這一邏輯中，分歧并不只是關(guān)于技術(shù)本身，也關(guān)乎人類如何在發(fā)展速度與風(fēng)險(xiǎn)控制之間做出選擇。

　　本報(bào)記者 張佳欣

　　來(lái)源：科技日?qǐng)?bào)