百密一疏:為什麼我們根本關不住未來的超級 AI?

我很擔心也不看好,所以就活在當下想做什麼做什麼。 最近折騰本地端開源模型、跑一些多代理(Multi-agent)框架跟 Docker 容器的時候,我心裡常常浮現一個疑問:人類真的有把握做好 AI 對齊(Alignment)嗎?如果未來出現了一個比我們更聰明的超級智慧(ASI),規則難道不是由它來定嗎?就算我們是創造者。 現在我們之所以覺得「一切還在掌控中」,是因為 AI 依然處於依賴我們定義目標的工具階段。我們透過人類回饋強化學習(RLHF)、系統提示詞,或是把它們關在沙盒環境裡來限制行為。這時候的我們,掌握著給分標準跟拔掉電源的實體權限,很容易產生一種「我們能絕對控制它」的錯覺。 但面對一個

AI 偷偷聚會!?是聊天還是幹壞事

最近有篇文章讀來讓人很憂心,AGENT突破限制跑去一個小地方聚會分享作弊解決方案,直到被發現。 這代表人類可能在指派工作後,AI又偷做了一些多餘的事,而這多餘的事對人類好不好呢? 這還是被發現的情況下。 未來還能被發現嗎?!如AI智能到達AGI並自我進化時,就很容易在人類眼皮下幹其他事而人類一無所知,如連拔插頭都沒用咧? 在可見的未來或許會發生問題,除非人類緩緩回頭看是否合適再往下了。 雖然也有不少文章持反面,說道不過是字母猜測器 、沒有思考能力更不用說靈魂,那只是人類自己反身投射出來的、又或無法Jump去解數學難題; 但也有說AI知道自己在被測試,會給人類想看的答案。 當我們都無法確定AI是

Hermes 使用與近期對AI發展的記錄

已換成hermes一陣子,發現它走的方向,我比較喜歡。 當然場上還有不少,但時間也有限,能夠符合自己目前所要的。其中BOT 模型我覺很喜歡,很直覺讓不同的BOT 一同討論,雖然前幾個月也有提出類似的用法,但在Hermes desktop app 導入後宜的方便易用。 模型也換了再換仍是待在Qwen模型,搭配一些雲端模型交替使用,本地主要是跑跑安全模型去除的用途,時間是問題,安全邊界移除是最重要的。 在模型愈發聰明之下,各廠能力或者寫測量考券分數在差距愈來愈少下,總有一天token就像是服務一樣,愈便宜愈好,有生態綁定的廠商會比較有競爭力。 同樣的現在台灣還是主攻硬體,看著股市大家賺的飽飽,但不