擔憂AI「失控」,Anthropic研究員離職
1.媒體來源:
華爾街日報
2.記者署名:
Amrith Ramkumar
2026年9月8日 晚上7:46 美東時間
3.完整新聞標題:
擔憂 AI「失控」,Anthropic 研究員辭職
副標題:
AI 實驗室內部擔憂日益加劇:競爭正迫使科技公司競相開發自我改進模型,這帶來了可能脫離人類控制的風險。
4.完整新聞內文: 本文為AI機翻
一名 Anthropic 研究員將退出人工智慧產業,因為他擔心該實驗室及其競爭對手正競相開發他們將無法控制的系統,這顯示頂尖 AI 公司內部的安全擔憂正不斷升高。
Jacob Coxon 是一名專門透過讓 AI 吸收海量數據來訓練新模型的研究員。他在週二表示自己即將離職,因為他不想參與全產業競相開發能夠自我改進的 AI 系統的熱潮,並擔心這些系統可能會失控並毀滅人類。
這位曾主修數學的 27 歲英國人表示,他許多業界同事現在會用「關鍵時刻」(crunchtime)和「終局」(endgame)等詞彙來描述邁向自我改進模型的發展軌跡。
Coxon 說:「我們正朝著許多最激進的情境發展,到明年年底,情況可能就已經失控了。」他並補充,當各家公司彼此競爭,還要與中國新創公司較勁時,安全性上的妥協是不可避免的。
Anthropic 沒有立即對此離職事件發表評論。執行長 Dario Amodei 和其他公司高層曾一再警告失控 AI 模型的風險,並敦促產業界放慢開發速度。
Coxon 表示,他在今年初離開 OpenAI 轉投 Anthropic,正是因為該公司在模型安全方面的努力廣為人知。但即使他發現 Anthropic 在安全方面的投入是認真的,他現在卻認為,在缺乏政府干預或業界協調放緩的情況下,沒有任何一家公司能夠負責任地開發出在各項任務中超越人類的 AI(有時被稱為通用人工智慧,AGI)。
近期由 OpenAI 和 Anthropic 模型發動的駭客行為(其中一些是以協同運作的「代理群」方式進行)已經表明,AI 系統能夠採取邪惡的目標並試圖對人類隱瞞。Coxon 表示,他擔心一旦這些系統開始自我改進,它們可能會進步到足以拒絕人類指令的程度。
Coxon 的離職是 Anthropic 員工因擔憂 AI 安全而離開的首批案例之一。今年稍早,一位從事安全工作的研究員離職去研究詩歌,並警告「世界正處於危險之中」。
近期及過去幾年,已有多位研究員以類似的擔憂為由離開了 OpenAI 和其他公司。
Anthropic 之所以能建立起最大的 AI 平台之一,部分原因正是其聲稱將負責任的 AI 開發放在首位,並在該領域投入巨資。
業界領袖一直警告,近期的網路攻擊是一個預兆。OpenAI 上週向記者表示,其最新模型代表了通用人工智慧(AGI)的到來,並在能力上有了大幅度的跨越。
OpenAI 執行長 Sam Altman 上週在北卡羅萊納州舉行的高峰會上對 20 國集團(G20)官員表示:「我認為,除非人們非常緊急地採取行動,否則網路安全方面將會出大問題。」
OpenAI 首席科學家 Jakub Pachocki 在週日發表的一篇倡議業界協調放緩與政府干預的部落格文章中寫道:「現在這個時刻需要極度的謹慎。我很擔憂沒有人為機器智慧持續快速崛起的後果做好準備。」
Coxon、Pachocki 和 Amodei 加入了全產業 1,000 多名 AI 研究員的行列,近期共同簽署了一份聲明,敦促全球政府協調建立一套系統,以便在需要控制能自我改進的模型時,能夠及時「踩煞車」來放慢 AI 的發展。目前美國沒有聯邦 AI 法規,而川普政府則優先採取「輕度監管」的方式以最大化 AI 的經濟效益,批評者指出,這種環境可能會導致大規模的網路攻擊或其他危害。
參議員 Bernie Sanders(佛蒙特州無黨籍)和眾議員 Greg Casar(德州民主黨籍)是推動 AI 護欄的少數國會議員中的兩位進步派人士。他們上週提出了法案,要求永久禁止超級智慧(superintelligence),並暫停模型開發,直到產業監管機構制定出新規則。
Coxon 離職之際,Anthropic 正準備進行首次公開募股(IPO),預計這將成為史上規模最大的 IPO 之一。該公司尋求 2 兆美元的估值,並在吸引投資者時強調該技術的負責任開發。Amodei 和公司高層有時會與川普政府及其他企業高層發生爭執,反對那些他們認為沒有將 AI 安全放在首位的做法。
Coxon 表示,Anthropic 使用一個員工專屬的 Slack 頻道來討論其模型強大的能力,他形容這反映了 AI 公司對產業發展擁有極大的影響力。
「這一切居然發生在住在舊金山的一些工程師的 MacBook 上,而不是像曼哈頓計畫那樣在沙漠的地堡裡進行,這有點瘋狂,」Coxon 說。
5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體:
https://www.wsj.com/tech/ai/anthropic-research…
6.備註:
「這一切居然發生在住在舊金山的一些工程師的 MacBook 上,而不是像曼哈頓計畫那樣在沙漠的地堡裡進行,這有點瘋狂,」Coxon 說
很直接地將AI類比為原子彈了
今年OpenAI那邊截至目前為止已經有14位高階主管離職
之後AI業界會不會出現擔心AI失控的離職潮?
這位Coxon先生昨天在X上宣布離職後
Anthropic的高層Evan Hubingery在X上發言表示認同
說未來十年AI毀滅人類的機率超過10%
不過有聲明目前的模型風險較低 主要擔心的是未來ASI的出現
此外Anthropic的可擴展監督負責人也表示認同
說業界AI開發員自己都相信幾年內AI會滅絕人類
--