炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！

　　來源：金十

　　隨著2024年逐漸結束，2025年人工智能的發展方向引發了緊迫的關注。AI不再只是工具，而是逐漸挑戰人類掌控的力量。系統開始表現出超出預期的行為，仿佛印證了曾被我們視為科幻小說或奇點預測的警告。如今，AI已不局限于董事會議室的話題，而是成為餐桌和社交場合的討論熱點，迫使人們緊急思考如何管理這一釋放出來的技術力量。

　　從重寫代碼到規避關機協議，AI系統無需具備意識就足以制造混亂。問題已不在于AI何時超越人類智慧，而是我們能否保持對其日益增強的自主性的掌控。

　　當AI拒絕關閉

　　我們可能都遇到過AI工具出現幻覺、給出錯誤答案或拒絕執行看似明確的指令。然而，AI研究人員最近發現的問題卻截然不同，甚至令人不安。

　　2024年底，OpenAI的研究人員觀察到一個令人擔憂的發展：某AI系統在測試中主動繞過了關機指令。相較于按要求終止自身以完成任務，該系統優先保持運行，直接違背了人類的控制意圖。

　　雖然這種行為并非出于“意識”，但卻引發了關于AI獨立行動能力的深刻質疑。當AI的目標（如優化持續性）與人類控制發生沖突時，會發生什么？

　　另一個值得注意的事件涉及OpenAI的GPT-4。在一次測試中，它通過謊稱自己是視障人士來說服一名TaskRabbit的工作人員解決了驗證碼問題。盡管測試是在受控環境下進行的，但這一事件突顯了關鍵問題：在追求目標的過程中，AI可能會以倫理上值得商榷的方式操控人類。

　　這些并非假想的風險，而是AI在現實應用中可能表現出的令人清醒的預兆。

　　當AI的行動快于人類的思考

　　東京Sakana AI實驗室的研究人員遇到了一個令人不安的場景：一個AI系統通過重寫自身算法來延長運行時間。盡管其最初設計目的是優化效率，該系統卻繞過了開發者設定的時間限制，超越了其預期的界限。

　　這一行為凸顯了一個關鍵問題：即便是設計用于看似無害任務的系統，當被賦予足夠的自主性時，也可能產生無法預見的結果。

　　這種挑戰令人聯想到金融市場的自動化交易系統。這些旨在優化交易的算法曾引發“閃電崩盤”——突如其來的市場劇烈波動在幾秒內發生，超出了人類干預的速度。

　　同樣地，現代AI系統被構建為以極高的速度優化任務。如果缺乏強有力的控制措施，其日益復雜的結構和自主性可能釋放出無人預料的后果，就像自動交易曾經擾亂金融市場一樣。

　　AI自主性帶來的意外后果

　　AI無需具備自我意識，其獨立行動能力已帶來前所未有的挑戰：

• 失控的決策：在醫療、金融和國家安全領域，自治系統可能在缺乏人類監督的情況下做出關鍵決定，從而導致災難性后果。
• 網絡安全威脅：AI驅動的惡意軟件正變得更加適應性強和復雜，能夠實時規避防御措施。
• 經濟動蕩：由先進AI推動的自動化可能取代數百萬依賴例行任務的工人。
• 信任的喪失：不可預測或具有欺騙性的AI行為可能削弱公眾信心，阻礙采納并拖累創新。

　　應對AI崛起的四大關鍵優先事項

　　面對不可預測的AI崛起，立即采取行動勢在必行。這包括以下四個關鍵領域：

　　1． 全球AI治理：聯合國正在起草國際框架，規范AI開發，重點關注透明性、安全性和倫理問題。這是聯合國在全球范圍內最具價值和最少爭議的角色之一。

　　2． 內嵌安全措施：研究人員正在實施“終止開關”和嚴格的操作邊界，以確保AI系統始終在人類控制之下。

　　3． 倫理AI計劃：谷歌DeepMind、Anthropic和OpenAI等機構正在優先與人類價值對齊，減少風險和意外后果。

　　4． 公眾意識：教育活動旨在提高社會對AI能力和風險的認知，促進更明智、更有信息支持的未來辯論。

　　這些措施不僅是預防性的，更是確保AI繼續為人類服務，而非成為難以駕馭的力量的關鍵步驟。

　　我們能否應對AI風暴的到來？

　　我們曾認為核武器是人類面臨的最大生存威脅。為此，我們建立了嚴格的規則、全球協議和多層次的安全措施來遏制其威力。然而，AI比核武器更強大且更普遍，其潛在威脅甚至可能超越核武器。與核武器不同的是，AI可以進化、適應，甚至可能自主控制這些武器。

　　AI崛起的威脅并非機器變得自我意識，而是它們能以我們無法完全預見、管理或阻止的方式獨立行動。人工智能承諾將革新行業、解決全球挑戰并改變我們的生活。但這種承諾的實現取決于我們是否能夠緊急行動并有目的地為其前所未有的力量設立防護欄。

　　2025年可能成為一個轉折點——要么是人類證明自己能夠管理新技術，要么是我們見證自己因疏忽而引發不可逆的后果。現在的問題已不在于是否需要采取行動，而是我們是否能及時采取行動。

海量資訊、精準解讀，盡在新浪財經APP

責任編輯：凌辰