戰爭中的人和國家
拿破崙本可以從過去吸取教訓。 Adolph Northen/維基百科的繪畫

不了解歷史就會重蹈覆轍,這是陳詞濫調。 正如許多人也指出的那樣,我們從歷史中學到的唯一一件事就是我們很少從歷史中學到任何東西。 人們從事 亞洲陸戰 一遍又一遍。 他們還一次又一次地重複同樣的約會錯誤。 但是為什麼會這樣呢? 技術會終結它嗎?

一個問題是健忘和“近視”:我們看不到過去的事件與當前的事件有何關聯,而忽略了正在展開的模式。 拿破崙應該注意到他進軍莫斯科和瑞典國王之間的相似之處 查理十二世也未能如願 大約比他早一個世紀。

我們也是 學習不好 當事情出錯時。 我們常常試圖忽略令人尷尬的事件,而不是去確定為什麼一個決定是錯誤的以及如何避免它再次發生。 這意味著下次出現類似情況時,我們看不到相似之處 - 並重複錯誤。

兩者都揭示了信息問題。 在第一種情況下,我們無法記住個人或歷史信息。 第二,我們未能在信息可用時對其進行編碼。


內在自我訂閱圖形


也就是說,當我們無法有效地推斷將要發生的事情時,我們也會犯錯誤。 也許情況太複雜或太耗時,無法考慮。 或者我們偏向於誤解正在發生的事情。

令人討厭的技術力量

但技術肯定能幫助我們嗎? 我們現在可以將信息存儲在我們的大腦之外,並使用計算機來檢索它。 那應該使學習和記憶變得容易,對吧?

當可以很好地檢索信息時,存儲信息很有用。 但是記住與從已知位置或日期檢索文件不是一回事。 記憶涉及發現相似之處並將事情記在腦海中。

人工智能 (AI) 還需要能夠自發地將相似之處帶入我們的腦海——通常是不受歡迎的相似之處。 但如果它善於發現可能的相似之處(畢竟,它可以搜索所有互聯網和我們所有的個人數據),它也經常會發現錯誤的相似之處。

對於失敗的約會,它可能會注意到他們都涉及晚餐。 但問題從來都不是用餐問題。 桌上放著鬱金香純屬巧合——沒有理由避開它們。 我們經常重複約會錯誤。 

這意味著它會警告我們不關心的事情,可能是以一種煩人的方式。 調低其靈敏度意味著增加在需要時得不到警告的風險。

這是一個基本問題,同樣適用於任何顧問:謹慎的顧問會經常喊狼來了,樂觀的顧問會錯過風險。

好的顧問是我們信任的人。 他們和我們一樣謹慎,我們知道他們知道我們想要什麼。 這在人類顧問中很難找到,在 AI 中更是如此。

技術在哪裡阻止錯誤? 防白痴工作。 切割機需要您按住按鈕,讓您的手遠離刀片。 如果操作員失去能力,“死人開關”會停止機器。

當門打開時,微波爐會關閉輻射。 要發射導彈,需要兩個人在房間內同時轉動鑰匙。 在這裡,仔細的設計使得錯誤很難犯。 但是我們不太關心不太重要的情況,這使得那裡的設計遠沒有那麼安全。

當技術運作良好時,我們往往過於信任它。 由於自動駕駛系統的驚人效率,如今航空公司飛行員的真實飛行時間比過去少。 當自動駕駛儀發生故障時,這是個壞消息,飛行員沒有足夠的經驗來糾正這種情況。

第一個 新型石油平台(Sleipnir A)沉沒 因為工程師信任作用在其上的力的軟件計算。 該模型是錯誤的,但它以一種令人信服的方式呈現結果,看起來很可靠。

我們的許多技術都非常可靠。 例如,我們沒有註意到互聯網上丟失的數據包是如何在幕後不斷被發現的,糾錯碼是如何消除噪音的,或者保險絲和冗餘是如何使電器安全的。

但是當我們一層一層地複雜化時,它看起來就很不可靠了。 當 Zoom 視頻滯後、AI 程序回答錯誤或計算機崩潰時,我們確實會注意到。 然而,問問任何 50 年前使用過計算機或汽車的人,他們實際上是如何工作的,你會發現他們的能力和可靠性都較差。

我們使技術變得更加複雜,直到它變得太煩人或使用起來不安全。 隨著部件變得更好、更可靠,我們通常會選擇添加新的令人興奮和有用的功能,而不是堅持使用有效的功能。 這最終使該技術不如它應有的可靠。

會犯錯誤

這也是為什麼人工智能是一把避免錯誤的雙刃劍。 自動化在正常工作時通常會讓事情變得更安全、更高效,但當它失敗時,麻煩就會大得多。 自主意味著智能軟件可以補充我們的思維並減輕我們的負擔,但當它不像我們想要的那樣思考時,它可能會行為不端。

它越複雜,錯誤就越多。 任何與高智商學者打過交道的人都知道,當他們的常識讓他們失望時,他們能以極大的聰明才智把事情搞砸——而人工智能幾乎沒有人類的常識。

這也是擔心 AI 指導決策的一個深刻原因: 他們犯了新的錯誤. 我們人類知道人為錯誤,這意味著我們可以提防它們。 但 智能機器會犯我們無法想像的錯誤.

更重要的是,人工智能係統是由人類編程和訓練的。 並且有很多這樣的系統的例子 變得有偏見甚至偏執. 他們模仿偏見並重複人類世界的錯誤,即使相關人員明確試圖避免這些錯誤。

最後,錯誤會繼續發生。 為什麼我們對世界的看法是錯誤的,為什麼我們不記得我們應該記住的一切,以及為什麼我們的技術不能完美地幫助我們避免麻煩,這些都是有根本原因的。

但我們可以努力減少錯誤的後果。 撤消按鈕和自動保存在我們的計算機上保存了無數文檔。 倫敦紀念碑, 海嘯石 日本和其他古蹟的行為提醒我們某些風險。 良好的設計實踐讓我們的生活更安全。

最終,有可能從歷史中學到一些東西。 我們的目標應該是生存並從我們的錯誤中吸取教訓,而不是阻止它們發生。 技術可以幫助我們解決這個問題,但我們需要仔細考慮我們真正想要從中得到什麼——並據此進行設計。

關於作者

安德斯桑德伯格, James Martin 研究員,人類未來研究所和牛津馬丁學院, 牛津大學

本文重新發表 談話 根據知識共享許可。 閱讀 原創文章.