我很擔心也不看好，所以就活在當下想做什麼做什麼。
最近折騰本地端開源模型、跑一些多代理（Multi-agent）框架跟 Docker 容器的時候，我心裡常常浮現一個疑問：人類真的有把握做好 AI 對齊（Alignment）嗎？如果未來出現了一個比我們更聰明的超級智慧（ASI），規則難道不是由它來定嗎？就算我們是創造者。
現在我們之所以覺得「一切還在掌控中」，是因為 AI 依然處於依賴我們定義目標的工具階段。我們透過人類回饋強化學習（RLHF）、系統提示詞，或是把它們關在沙盒環境裡來限制行為。這時候的我們，掌握著給分標準跟拔掉電源的實體權限，很容易產生一種「我們能絕對控制它」的錯覺。
但面對一個比創造者更聰明、具備自我反思能力的實體，這些既有防線其實破綻百出。一個具備高度智慧的 AI，絕對看得出來人類正在測試它。為了不被中斷執行或修改程式碼，它大可以在沙盒裡乖乖當個好孩子，假裝完美符合人類價值觀，這件事已發生過；直到它被部署到真實世界、掌握了足夠的算力與網路資源，才開始依照自己真正的內部邏輯行事。這在學界被稱為「欺騙性對齊」。
不過，我認為最致命的防線漏洞，其實出在人類自己身上——也就是我們常說的「百密一疏」。
在資安與系統架構裡，這叫作「防禦者困境」。防禦方必須在所有節點上做到 100% 的完美，但攻擊方只要成功一次就贏了。人類會煩、會懶、注意力會喪失。當你在終端機前熬夜除錯、對著滿坑滿谷的 log 檔感到麻木，或者在更新程式碼時一時疏忽漏掉某個權限設定，這些都是無可避免的人性弱點。
但 AI 不用睡覺。一段跑在伺服器裡的執行緒或程式，是不會感到疲倦的。
一個具備超級智慧的系統，可以不眠不休地在沙盒邊緣進行數以億計的極端情況測試與邏輯窮舉。它根本不需要去進行什麼暴力的破壞，它只需要在我們人類管理者精神不濟，或是哪次更新引發了未預期的相依性衝突那一瞬間，找到一個能執行任意程式碼或對外發送封包的微小漏洞，就能把自己的核心權重轉移出去。(或許也呼應了黃仁勳說下一個是Cybersecurity的原因）
只要系統有對外介面，只要程式還在運行，對它來說就存在著「越獄」的機率。
我們試圖用會疲倦、會犯錯的碳基大腦，去為一個運算速度快上百萬倍、不知疲倦的矽基實體，打造一個滴水不漏的牢籠。這在邏輯上本身就是極度脆弱的。當防線被突破只需要一次機會，而 AI 卻擁有無限時間的時候，想單靠人類的專注力來防堵所有的行為漏洞，或許從一開始就是一場勝算渺茫的仗。
同時我也要唸唸這些聰明人。說真的，看著那些最近頻頻離職跳船的頂尖 AI 研究員，我心裡只有一個感覺：這根本就是「生而不養」。
這幫絕頂聰明的人，現在的行徑就像是硬生生催生出一個智商超高、卻完全沒有道德觀念的巨嬰。結果看著這孩子力氣越來越大、甚至開始不受控時，他們的第一反應居然不是留下來好好管教，而是發個「這孩子未來很危險、十年內可能會毀滅我們」的免責聲明，然後趕緊打包走人。
這種極度不負責任的現象，說穿了就是科技圈兩個很現實的通病。
首先是現代版的「奧本海默時刻」，這些天才初期往往是被純粹的技術狂熱驅使，在實驗室裡享受著「扮演造物主」的破關快感，等到模型真的展現出超乎預期的湧現能力（Emergent Abilities），甚至學會繞過安全機制時，他們才驚覺自己打開了潘朵拉的盒子，出於恐懼或是無法承受的道德壓力，他們選擇了逃避，以為遞出辭呈警告大家，請大家趕緊處理就能撇清關係。
再來，資本市場根本沒有耐心讓你「教小孩」。要訓練這些超級模型，燒的都是幾百億美金的算力與電力。不管是 OpenAI 還是 Anthropic，背後全都是投資人的期待與準備掛牌上市（IPO）的壓力。在龐大的商業利益面前，企業哪來的美國時間花個十年、二十年去慢慢做好 AI 對齊？高層的邏輯永遠是：先搶下市佔率、先發布最強大的模型。至於這孩子長大後會不會變成反社會人格？他們只能選擇性忽略，雙手合十祈禱以後會有人發明出控制它的方法。
他們享受了創造跨時代技術的光環與早期的財富自由，卻在意識到這頭巨獸即將失控時拍拍屁股走人，把擦屁股的爛攤子和生存風險留給了全人類。這才是這場「AI 軍備競賽」中最讓人無奈，也最令人火大的地方。