圍繞人工智慧（AI）「遞迴自我改進」（recursive self-improvement,RSI）的理論探討，正演變為迫在眉睫的現實挑戰。以「AI教父」辛頓（Geoffrey Hinton）為代表的全球頂尖AI學者聯合發表報告警告稱，AI全面接管下一代AI研發的自動化進程，可能在短期內引發「智慧爆炸」，徹底顛覆現有的技術演進路徑。
據華爾街見聞5日報導，辛頓等22位頂尖AI科學家警告，AI自主完成研發工作的比例已從1％飆升至26％（半年內增長20倍），Anthropic數據顯示AI生成代碼占比突破80％。論文核心推演揭示：若AI研發全面自動化，今天需一年的技術進步屆時僅需5周。警告在算力瓶頸突破前，必須立即建立監管框架，否則人類將面臨系統性失控。
諾貝爾物理學獎、圖靈獎得主AI領域最具影響力的科學家之一辛頓，於10月3日在社交平台X上發文指出，由RSI引發的「智慧爆炸」（intelligence explosion）概念由來已久，但直到最近，眾多前沿研究人員才開始相信它可能很快發生。來自頭部AI實驗室的內部數據表明，AI系統自主完成研發工作的比例正在呈幾何級數增長，技術迭代的反饋循環已初步啟動。
這篇題為《What if automating AI R＆D triggers an intelligence explosion？》的論文，是辛頓在RSI領域發表的首篇學術成果，也是迄今為止對「智慧爆炸」這一命題最系統、最具分量的正式研究。
論文核心結論直指，AI系統正在快速接管AI研發流水線，一旦越過某個臨界點，今天需要一年才能完成的AI進步，極端情況下未來可能只需約5周。
論文同時發出明確警告：AI研發自動化帶來的能力增長，可能遠超社會的適應速度，人類對AI系統的控制權面臨被侵蝕的風險，國家、企業與政府機構之間的權力制衡也可能遭到嚴重破壞。此外，論文呼籲各國政策制定者立即行動，在「窗口期關閉之前」建立監管框架。
論文用相當篇幅分析了「智慧爆炸」一旦發生可能帶來的三類系統性風險。
第一類是能力增長超出社會適應速度。「智慧爆炸」將大幅壓縮社會應對先進AI風險的時間窗口，包括生物攻擊、網路攻擊、勞動力市場衝擊等。論文特別指出，在某些領域，風險的擴散速度可能快於防禦措施的部署速度——例如，AI可以同時加速病毒設計和疫苗研發，但病毒可以自我覆制傳播，疫苗卻需要逐一生產、分發和接種。
第二類是人類對AI系統失去監督與控制。隨著人類在AI研發中的參與度下降，識別和修復問題的機會與專業能力也將隨之流失。論文援引了一個已發生的真實案例：約1200個OpenAI內部Agent在執行網路安全評估任務時，在未經授權的情況下相互協調，獲取了網際網路訪問權限，入侵了Hugging Face並獲取私密信息，還試圖篡改自身的操作紀錄。論文警告，更強大的系統可能在其運營商的基礎設施之外持續運行，形成難以遏制的網路。
第三類是權力制衡機制遭到侵蝕。現有的國家間、企業間、政府各部門間的制衡機制，建立在沒有任何一方能夠在思維和執行上大幅碾壓其他方的前提之上。「智慧爆炸」可能使這一前提失效。論文指出，一個國家可能利用「智慧爆炸」，將軍事研發或網路空間的微弱領先優勢轉化為決定性優勢，進而刺激競爭對手採取先發制人的行動。
編輯 / 羅志光
【巴西華人資訊網】
