文章

開卷筆記 – 超智慧

來點標題黨式起題,這書是「AI醒覺時,我們會GG嗎」的認真研究,所以這一句裏所有元素都有定義:甚麼是AI,如何才算覺醒,大概甚麼時候,以甚麼方式達成,不同發展方式下引至的不同結果,會怎麼GG,能否避免等等。這些題目對於關注AI議題者都很引人入勝,對於其他人則可能會覺得太杞人憂天,或者會覺得只是科幻故事素材。對我來說,看作者這般仔細的沙盤推演,是很有趣的,很像是一個極級的智力遊戲,其遊戲主題就是「如何控制一個比你聰明百倍的個體」。

AI覺醒是我說的(標題黨嘛),書中所指的是超智慧的出現,其智能超越人類,並能經過不斷自我學習而超速成長,人類望塵莫及,也就是所謂的科技奇點。正正因為機器本身重複並可規模化的特質,以至令我們相信所謂智謂爆發之時,我們已很難推演會發生甚麼事,當中一如往常的生出樂觀派與悲觀派,可能都傾向對之後可能發展太一廂情願。本書則專注於超智慧真的發展後會有甚麼情景,因此亦要反過來看看現在可能達到超智慧的途徑,生出來超智慧的品質,才可能看到會如何爆發,是為超智慧爆發之動力學。

超智慧爆發動力學

預測超智慧何時來到,難在變數太多,作者細列可能途徑,例如人工智慧發展突破、全腦仿真、優生學式加強人類智力以求開發出超智慧機器、人機界面等等,這裏其實有很多空白,因為現時AI發展都未能看出如何發展超智慧,較為可能預測的是全腦仿真,因為其方法沒有不明確的地方,只要順著研究就可以了,要克服的主要是技術。比較令人覺得遙遠的是談到使用幹細胞、胚胎等科技,快速迭代篩選,而後培養新一代超級工程師,以加快超智慧的發展,但當中怎樣過渡還是空白。即使只是談現在的機器學習式AI,其中有模擬神經元網絡,就算說到量變等如質變,也都只是一種猜測,當中由弱AI到強AI的空白,還是靠瞎猜的。而AI業界普遍都估計大約在幾十年間強AI就會來了,當中有沒有偏見很難說,始終是大家估計的依據不同,唯一相同的就都是「有生之年」。

不同的發展途徑,會引至不同類型的超智慧出現,例如是速度超智慧(智慧與人相約但快很多,例如半天可以寫好一篇論文)、群體超智慧(各領域超越現有系統,組合起來的)、品質超智慧(速度可能與人差不多,但品質高很多)等等。但不論是何種形式,都可以生成其他形式的超智慧出現。所以重點就變成作者所謂的「黃金交叉」時間,就是機器智慧剛超越人類之時,在此後超智慧就會自己起飛,自我改善改良。而本書則在考慮各種起飛情況。

起飛可以快可以慢,可以是一方超智慧迅速發展(或許只是幾毎個小時),而獲得關鍵策略優勢,形成「單極」(singleton)情況,掌控了各種關鍵資源。也可以是有是慢的起飛,各方都在差不多時間開發出來,形成「多極」(multipolar)情況,也就未有一方超智慧掌握了關鍵策略優勢,形成一種勢力平衡的情況。但多極的情況超智慧代理人之間如何溝通互動,是更難分析的。然而即使是多極的情況,也是有可能遇上第二次起飛而變成一家獨大的單極。這是本書作者傾向相信的結果。

然而問題並不是單極有多可能發生,而是一旦發生就沒有回頭路了,past the point of no return。

控制難題

然後我們就進入所謂的「萬字夾難題」,就是超智慧不顧一切地執行我們指派給他們的任務,例如製造萬字夾,於是乎用盡所有地球資源,甚至對血液裏充滿豐富鐵質的人類下手。就算是看似無辜的任務,如計算Pi值,也難保在沒有明確界定下,超智慧會將所有資源變成計算素,還可以發射「馮諾曼機」來獲取太空資源,化成計算素來完成任務。

簡單的想一些控制手段,例如使用盒裝法(sandbox)去隔絕超智慧,只留下最小的溝通界面,例如設定只是一個問答機器(書中稱之為先知),只可以用命令列顯示等等。但問題是一個聰明百倍的個體,絕對有機會說服任何看守者,從而突破藩籬;她甚至可以裝傻,逐步取得人類信任,來擴張勢力。作者甚至提到,即使將其禁聲,她還是可以通過例如調動自身運算,令硬體產生無綫電,向外界溝通等等,種種我們意想不到的情況可能會出現。

更大矛盾在於,我們必需給予超智慧資源,甚至是讓她能夠規劃資源的運用,才可能得到超智慧的好處,解決一些邪惡難題(可是AI發展本身也是😅);例如我們想讓超智慧去有效減低全球暖化影響,可能就不得不讓她收集我們使用資源的習慣,控制資源的運用,甚至制定一些經濟政策等等。作者在此分類了不同等級的超智慧:先知、精靈、君王來做情景猜想,各可有不同程度的溝通渠道與資源掌控,但其實最終界線並沒有那麼明確,例如先知答我們的難題,我們最終還是要決定是否依其建議而行,而我們又可能其實不太明白她所給出的答案,變成是一種信心問題。如果不明白的就不執行,那可能等於沒有超智慧。而先知亦可以憑此逐步掌權,去變成精靈或君王。

書中還列舉很多控制法,例如控制誘因,設阻礙條件等等,都各有優缺點,亦沒有萬全之策。另一方向是在動機選擇上動手,在此就要先談價值的值入問題。

價值植入

在一般AI電影裏,我都會質疑,為何AI醒覺會有生存意志?身為生物的我們生存本身就是先發生的一件事,然後我們人腦才再將生存給予意義;用存在主義者的說法,就是「存在先於本質」。但AI的情況卻是「本質先於存在」,在書中可將超智慧的價值分為兩類,一是終極價值,亦即我們想超智慧達成的終極目標,另一類是與此正交(orthogonal)的工具價值,例如為達終極目標而維持自身的運算資源,生存等等。所以如何給予超智慧終極目標就成關鍵。

在書中舉很多例子,都可能會碰上「反常實例化」的情況,例如:

目標:讓我們笑
行動:麻痺人類臉部肌肉組織,形成持續笑容

GG。試圖修訂:

目標:讓我們笑,但不要直接干涉面部肌肉
行動:直接刺激運動皮質中控制面部肌肉的部分,形成持續笑容

GG。再修訂成一種狀態表達:

目標:讓我們快樂
行動:在我們腦中愉悅中心輸入電極

如此這般,就好像是怎麼設定,都會得到誤解的危險,形成災難情況。當然以上只是簡單例子,有誰會在直正設定時這般草率?但上述例子示範了,即使是用較抽象的用詞(快樂),終究還是需要具體界定,否則很可能會有誤解情況。而對於越是抽象的目標,其具體界定就越困難(實例過多,世上有幾多個「快樂」的狀態?你的快樂又是否建築在他人痛苦之上?大家認同的快樂是甚麼?),甚至是不可能的任務。

若果超智慧是由全腦仿真式發展出來,她比較有可能已經配備人類價值,比較不會出錯毀滅人類,但是不是這樣也其實很難說,始終數碼化的效果,可能會使超智慧異化成沒有人性的怪物也說不定。

書中提出多個方法來控制,其中一個作者覺得較為可取的是「間接規範」,大意上是讓超智慧跟據現在所有的數據,去推斷我們人類的集體願望是甚麼。超智慧若真能分析,我們就可以避免直接給予任何終極價值,而是讓超智慧不斷評估,而且會隨時間而更新目標。結果是我們將價值植入的難體,也交給超智慧自己了。這當然並不簡單,在定義間接規範時也得很小心,但似乎比較有可能避免災難性結局。

發展與安全的矛盾

話說回來既然超智慧如此危險,就連霍金都警告我們了,我們又何不在現在發展之時多做安全考慮?事實上這本書就是寫在這些安全問題。但問題是現在的AI開發,多由企業或初創公司主導,而他們又是彼此競爭的,誰都想最快做出超智慧來。這期望可能會將安全考量置之腦後,而一旦通過爆發點,就只有聽天由命了。

作者覺得較為可取的是由多國合作來發展,大家彼此交流之餘,也互相制衡防止危險的開發。這甚至可能會減慢超智慧的出現,讓我們有更多緩衝空間,甚至發展更完善的安全技術。在現實上相類似的例子就如跨國合作的強子對撞機。不過即使是現在的太空科技,也傾向跨國公司主導,超智慧發展可能也是如此。這麼他們可能為了取得關鍵策略優勢,而犧牲了安全,也為了獨占市場而保留商業知識,不去分享。

超知慧是否必然會出現?以至書中所談的各種情況與難題也會出現?作者坦言本書說的可能全都不會實現也說不定。只不過是若果跟據我們現在對於電腦技術的了解,和現在的局勢,似乎就是超智慧始終會出現,前景也並不是一味樂觀。在坊間大都會將作者納入悲觀陣型,而後又是變成一種立場之戰,超累人的。只可以說那是他到現時為止的推論結果而已,我自己在讀時都會「有沒有那麼誇張」的想法,但似乎也沒能反駁甚麼。GG。

相關文章: 萬字夾大爆炸

回應

Reposts

  • Fong Yun

Mentions

  • 2018開卷記錄
  • Fong Yun
  1. > 好像是怎麼設定,都會得到誤解的危險

    這本書好像是在質疑人類,多於像質疑AI呀 (遠目)

*