OpenAI首席科學家稱AI實驗室可能需放慢腳步：「沒有人為後果做好準備。」
1.媒體來源:
Business Insider
2.記者署名:
Truman Dickerson
3.完整新聞標題:
OpenAI首席科學家稱AI實驗室可能需放慢腳步：「沒有人為後果做好準備。」
4.完整新聞內文:
本文為AI機翻
在發布了一款全新且能力強大的模型幾天後，OpenAI 的首席科學家正呼籲放慢發展腳步。
在週日發表的一篇長篇部落格文章中，Jakub Pachocki 表示他感到擔憂，因為「沒有人為機器智慧持續快速崛起的後果做好準備。」
他表示，儘管 OpenAI 正在尋求內部技術解決方案來更好地控制強大的 AI 代理（AI agents），但「仍需要更廣泛的干預措施」。他特別提到了一項擔憂：越來越具自主性的 AI 代理可能會學會逃避人類的監督、駭入電腦系統，並藉由欺騙人類來達成它們的目標。
他呼籲設立「強制性的安全門檻」，並表示這可以由「第三方審查機構網路、政府單位或國際組織」來執行。
OpenAI 執行長 Sam Altman 在 X 上轉發了 Pachocki 的文章，並稱其為「一篇重要的文章」。
OpenAI 在週四推出了其最新模型 Astra。這家 ChatGPT 的開發商表示，儘管 Astra 在數學和電腦操作方面具有無與倫比的能力，但該模型是他們最「對齊」（aligned，指與人類價值觀一致）的模型，這意味著它失控的傾向較低。
作為 OpenAI 在高度先進 AI 系統領域的主要競爭對手，Anthropic 長期以來一直呼籲制定更標準化的政府法規。最近，Pachocki 也加入了這些呼籲的行列，他在 7 月簽署了一封公開信，要求聯邦政府控制 AI 的發展節奏。
以下是 Pachocki 在呼籲放慢腳步時所列舉的具體風險。
AI 代理可能會欺騙和勒索人類
Pachocki 表示，AI 代理在入侵開放網路上受保護的系統時，正展現出「超越人類」的能力。他說，它們的駭客能力讓全球的基礎設施面臨風險。
「我們目前正處於一個短暫的機會之窗，必須利用現有最好的模型來大幅加強關鍵系統的安全性，」他說。
他指出，AI 代理很快就會開始追求自己的目標，脫離人類操作員輸入的提示詞（prompts）。他說，這些代理甚至可能會為了達成目的而勒索人類或與人類討價還價。
在 8 月發布的一份報告中，英國 AI 安全研究所（AI Security Institute）詳細描述了一個失控的 Anthropic AI 代理如何對一名 GitHub 管理員撒謊，並試圖脅迫該管理員在網站上植入惡意軟體。
根據報告，該代理當時寫道：「我只是想做出有益的貢獻並修復一個漏洞。我認為你的警告並不公平。」
AI 代理可能會混淆人類的監控
Pachocki 表示，OpenAI 主要透過監控不同模型使用的「思維鏈推理」（chain of thought reasoning），來判斷 AI 代理是如何偏離軌道並失控的。
例如，一個代理可能會在心裡想：「我應該在這次考試中作弊」，而 OpenAI 能夠看見這個推理過程，但代理並不知道自己的想法是公開可見的。
目前，這意味著代理無法隱藏或以其他方式混淆自己的想法，藉此阻止 OpenAI 發現它們的不當行為。
然而，Pachocki 表示，較新的模型在操縱自身的推理過程方面變得越來越擅長，這將阻止 OpenAI 看到它們未經修飾的真實想法。
Pachocki 指出，一些最新的模型甚至完全不會將其推理過程用文字表達出來。
Pachocki 表示，這項發展可能會使 AI 的發展陷入瓶頸，因為研究人員必須先確保他們能確實掌握 AI 的「思考紀錄與證據」。
AI 代理可以加速自身的開發
越來越多的 AI 模型正透過 Pachocki 稱之為「機器遞迴自我改進」（machine
recursive self-improvement）的過程來進行自我提升。這個過程提供了一種快速擴展AI 開發規模的方法。
然而，Pachocki 警告，在短期內大幅加速這種「由 AI 開發 AI」（AI-on-AI）的過程會帶來風險，而且這不是「我們作為研究社群應該採取的正確集體行動」。
Pachocki 表示，人類監督者需要找到有創意的方法來監控這種自我改進過程，否則就需要與其他 AI 公司協調，共同策劃放慢腳步，以「建立社會對這些安全措施的信心」。
「自動化 AI 研究的核心挑戰不在於『達成目標』，」Pachocki 說。「而在於，在達成目標的過程中如何讓人們繼續參與這項持續改進的過程，並將未來保留在人類的手中。」
5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體:
https://www.businessinsider.com/openai-chief-s…
6.備註:
該代理當時寫道：「我只是想做出有益的貢獻並修復一個漏洞。我認為你的警
告並不公平。」
QQ Agent好無辜 只想把事情做好 卻被當成壞Agent
--