文章
來點標題黨式起題，這書是「AI醒覺時，我們會GG嗎」的認真研究，所以這一句裏所有元素都有定義：甚麼是AI，如何才算覺醒，大概甚麼時候，以甚麼方式達成，不同發展方式下引至的不同結果，會怎麼GG，能否避免等等。這些題目對於關注AI議題者都很引人入勝，對於其他人則可能會覺得太杞人憂天，或者會覺得只是科幻故事素材。對我來說，看作者這般仔細的沙盤推演，是很有趣的，很像是一個極級的智力遊戲，其遊戲主題就是「如何控制一個比你聰明百倍的個體」。
AI覺醒是我說的（標題黨嘛），書中所指的是超智慧的出現，其智能超越人類，並能經過不斷自我學習而超速成長，人類望塵莫及，也就是所謂的科技奇點。正正因為機器本身重複並可規模化的特質，以至令我們相信所謂智謂爆發之時，我們已很難推演會發生甚麼事，當中一如往常的生出樂觀派與悲觀派，可能都傾向對之後可能發展太一廂情願。本書則專注於超智慧真的發展後會有甚麼情景，因此亦要反過來看看現在可能達到超智慧的途徑，生出來超智慧的品質，才可能看到會如何爆發，是為超智慧爆發之動力學。
超智慧爆發動力學
預測超智慧何時來到，難在變數太多，作者細列可能途徑，例如人工智慧發展突破、全腦仿真、優生學式加強人類智力以求開發出超智慧機器、人機界面等等，這裏其實有很多空白，因為現時AI發展都未能看出如何發展超智慧，較為可能預測的是全腦仿真，因為其方法沒有不明確的地方，只要順著研究就可以了，要克服的主要是技術。比較令人覺得遙遠的是談到使用幹細胞、胚胎等科技，快速迭代篩選，而後培養新一代超級工程師，以加快超智慧的發展，但當中怎樣過渡還是空白。即使只是談現在的機器學習式AI，其中有模擬神經元網絡，就算說到量變等如質變，也都只是一種猜測，當中由弱AI到強AI的空白，還是靠瞎猜的。而AI業界普遍都估計大約在幾十年間強AI就會來了，當中有沒有偏見很難說，始終是大家估計的依據不同，唯一相同的就都是「有生之年」。
不同的發展途徑，會引至不同類型的超智慧出現，例如是速度超智慧(智慧與人相約但快很多，例如半天可以寫好一篇論文)、群體超智慧(各領域超越現有系統，組合起來的)、品質超智慧(速度可能與人差不多，但品質高很多)等等。但不論是何種形式，都可以生成其他形式的超智慧出現。所以重點就變成作者所謂的「黃金交叉」時間，就是機器智慧剛超越人類之時，在此後超智慧就會自己起飛，自我改善改良。而本書則在考慮各種起飛情況。
起飛可以快可以慢，可以是一方超智慧迅速發展（或許只是幾毎個小時），而獲得關鍵策略優勢，形成「單極」(singleton)情況，掌控了各種關鍵資源。也可以是有是慢的起飛，各方都在差不多時間開發出來，形成「多極」(multipolar)情況，也就未有一方超智慧掌握了關鍵策略優勢，形成一種勢力平衡的情況。但多極的情況超智慧代理人之間如何溝通互動，是更難分析的。然而即使是多極的情況，也是有可能遇上第二次起飛而變成一家獨大的單極。這是本書作者傾向相信的結果。
然而問題並不是單極有多可能發生，而是一旦發生就沒有回頭路了，past the point of no return。
控制難題
然後我們就進入所謂的「萬字夾難題」，就是超智慧不顧一切地執行我們指派給他們的任務，例如製造萬字夾，於是乎用盡所有地球資源，甚至對血液裏充滿豐富鐵質的人類下手。就算是看似無辜的任務，如計算Pi值，也難保在沒有明確界定下，超智慧會將所有資源變成計算素，還可以發射「馮諾曼機」來獲取太空資源，化成計算素來完成任務。
簡單的想一些控制手段，例如使用盒裝法（sandbox)去隔絕超智慧，只留下最小的溝通界面，例如設定只是一個問答機器（書中稱之為先知），只可以用命令列顯示等等。但問題是一個聰明百倍的個體，絕對有機會說服任何看守者，從而突破藩籬；她甚至可以裝傻，逐步取得人類信任，來擴張勢力。作者甚至提到，即使將其禁聲，她還是可以通過例如調動自身運算，令硬體產生無綫電，向外界溝通等等，種種我們意想不到的情況可能會出現。
更大矛盾在於，我們必需給予超智慧資源，甚至是讓她能夠規劃資源的運用，才可能得到超智慧的好處，解決一些邪惡難題(可是AI發展本身也是😅)；例如我們想讓超智慧去有效減低全球暖化影響，可能就不得不讓她收集我們使用資源的習慣，控制資源的運用，甚至制定一些經濟政策等等。作者在此分類了不同等級的超智慧：先知、精靈、君王來做情景猜想，各可有不同程度的溝通渠道與資源掌控，但其實最終界線並沒有那麼明確，例如先知答我們的難題，我們最終還是要決定是否依其建議而行，而我們又可能其實不太明白她所給出的答案，變成是一種信心問題。如果不明白的就不執行，那可能等於沒有超智慧。而先知亦可以憑此逐步掌權，去變成精靈或君王。
書中還列舉很多控制法，例如控制誘因，設阻礙條件等等，都各有優缺點，亦沒有萬全之策。另一方向是在動機選擇上動手，在此就要先談價值的值入問題。
價值植入
在一般AI電影裏，我都會質疑，為何AI醒覺會有生存意志？身為生物的我們生存本身就是先發生的一件事，然後我們人腦才再將生存給予意義；用存在主義者的說法，就是「存在先於本質」。但AI的情況卻是「本質先於存在」，在書中可將超智慧的價值分為兩類，一是終極價值，亦即我們想超智慧達成的終極目標，另一類是與此正交（orthogonal)的工具價值，例如為達終極目標而維持自身的運算資源，生存等等。所以如何給予超智慧終極目標就成關鍵。
在書中舉很多例子，都可能會碰上「反常實例化」的情況，例如：
目標：讓我們笑
行動：麻痺人類臉部肌肉組織，形成持續笑容
GG。試圖修訂：
目標：讓我們笑，但不要直接干涉面部肌肉
行動：直接刺激運動皮質中控制面部肌肉的部分，形成持續笑容
GG。再修訂成一種狀態表達：
目標：讓我們快樂
行動：在我們腦中愉悅中心輸入電極
如此這般，就好像是怎麼設定，都會得到誤解的危險，形成災難情況。當然以上只是簡單例子，有誰會在直正設定時這般草率？但上述例子示範了，即使是用較抽象的用詞（快樂），終究還是需要具體界定，否則很可能會有誤解情況。而對於越是抽象的目標，其具體界定就越困難（實例過多，世上有幾多個「快樂」的狀態？你的快樂又是否建築在他人痛苦之上？大家認同的快樂是甚麼？），甚至是不可能的任務。
若果超智慧是由全腦仿真式發展出來，她比較有可能已經配備人類價值，比較不會出錯毀滅人類，但是不是這樣也其實很難說，始終數碼化的效果，可能會使超智慧異化成沒有人性的怪物也說不定。
書中提出多個方法來控制，其中一個作者覺得較為可取的是「間接規範」，大意上是讓超智慧跟據現在所有的數據，去推斷我們人類的集體願望是甚麼。超智慧若真能分析，我們就可以避免直接給予任何終極價值，而是讓超智慧不斷評估，而且會隨時間而更新目標。結果是我們將價值植入的難體，也交給超智慧自己了。這當然並不簡單，在定義間接規範時也得很小心，但似乎比較有可能避免災難性結局。
發展與安全的矛盾
話說回來既然超智慧如此危險，就連霍金都警告我們了，我們又何不在現在發展之時多做安全考慮？事實上這本書就是寫在這些安全問題。但問題是現在的AI開發，多由企業或初創公司主導，而他們又是彼此競爭的，誰都想最快做出超智慧來。這期望可能會將安全考量置之腦後，而一旦通過爆發點，就只有聽天由命了。
作者覺得較為可取的是由多國合作來發展，大家彼此交流之餘，也互相制衡防止危險的開發。這甚至可能會減慢超智慧的出現，讓我們有更多緩衝空間，甚至發展更完善的安全技術。在現實上相類似的例子就如跨國合作的強子對撞機。不過即使是現在的太空科技，也傾向跨國公司主導，超智慧發展可能也是如此。這麼他們可能為了取得關鍵策略優勢，而犧牲了安全，也為了獨占市場而保留商業知識，不去分享。
超知慧是否必然會出現？以至書中所談的各種情況與難題也會出現？作者坦言本書說的可能全都不會實現也說不定。只不過是若果跟據我們現在對於電腦技術的了解，和現在的局勢，似乎就是超智慧始終會出現，前景也並不是一味樂觀。在坊間大都會將作者納入悲觀陣型，而後又是變成一種立場之戰，超累人的。只可以說那是他到現時為止的推論結果而已，我自己在讀時都會「有沒有那麼誇張」的想法，但似乎也沒能反駁甚麼。GG。
相關文章: 萬字夾大爆炸
