納特·索阿雷斯（Nate Soares）帶來新一期節目：他是《If Anyone Builds It, Everyone Dies》的作者——討論超級智能 AI 的風險論點：

• AI 系統如何通過訓練“培育”出來，而不是被顯式編程
• 控制問題：爲什麼隨着能力規模擴大，協調一致（alignment）會變得更難
• 構建者本人對生存機率的估計
• 是否仍存在現實路徑來暫停或進行協調

索阿雷斯認爲，我們面對的挑戰與以往的技術風險根本不同——並不只是濫用，而是對超出人類理解範圍的系統喪失控制。核心觀點是：一旦擁有超級智能，協調失敗就將不可逆。

很值得聽聽這些系統的構建者給出的實際概率估計。他們……並不令人安心。