美國人工智慧（AI）公司Anthropic一位負責訓練AI模型的研究員柯克森（Jacob Coxon）8日宣布辭職。他批評服務過的2家AI公司不負責任，競逐開發「超級智能」，稱開發AI的工程人員本身相信，AI未來可能消滅所有人類，呼籲各界別低估AI威力。
美國「商業內幕」報導，柯克森8日在X發文，宣布辭去在Anthropic的工作，他過去3年相繼在OpenAI及Anthropic服務，2023年至2026年7月在OpenAI擔任技術人員，之後轉至Anthropic擔任研究員，但主要工作內容都是進行「預訓練」（pretraining）研究，也就是透過大量資料訓練新AI模型。
柯克森批評這2家公司都不負責任，競逐開發能自行進步的超級智能，與此同時卻「拿我們的生命在賭博」。
柯克森在一連串貼文中說明自己請辭的原因。他直言不要低估AI的威力，「這些很快就會成為超人類系統，能入侵任何東西，一夕之間顛覆任何領域，並且獲得真正的權力及資源，我們都親眼見證了這些領域的進展，而且進展並沒有放緩跡象」。
他接著寫道：「打造AI的人們真心相信，這項技術可能在這個十年內消滅我們所有人，這不是行銷噱頭。」他稱許多高階主管、資深研究人員在媒體上發言時，會把措辭包裝得比較「理性」，但他也聽過同一批人私下表達出恐懼。
關於深信AI可能危及人類的前提下，為何還要繼續開發AI？柯克森談到了OpenAI與Anthropic兩間公司的不同。OpenAI的許多員工並未深刻意識到這會攸關文明存亡，Anthropic內部則充分理解這層風險，但員工卻陷入了「必須搶第一」的競賽，他們認為其他人不會負責任地行事，「所以即便有風險，也只能自己來」。
柯克森評論，接受這場競賽，以及踏入這場「終局」是一場傲慢豪賭，若想在人工智慧對齊（AI alignment）上追求競速破關式的進展，前提是要確定沒有更好的可行路徑。
他認為目前AI產業的趨勢並非避免全球性競爭，敦促相關研究人員思考接下來幾年會是什麼樣子，是否想在未理解超級智能心智的情況下就展開強化學習訓練？
柯克森發布辭職貼文後，Anthropic負責「對齊壓力測試」團隊的現任員工哈賓傑（Evan Hubinger）也發文，他贊同柯克森的說法：「我們確實真的認為AI可能消滅全人類！我個人認為未來十年發生的機率超過10％。」他說相信Anthropic正盡全力，但現階段確實沒有能解決超級智能對齊問題的方案。
編輯 / 羅志光
【巴西華人資訊網】
