當事情在自動化世界中出錯時,我們還會知道該怎麼做嗎?

我們生活在一個日益複雜的世界裡 自動化。 因此,正如我們必須處理更複雜的問題一樣,自動化導致人類技能的萎縮,這可能使我們在應對意外情況或出現問題時更容易受到攻擊。 談話

考慮 法航航班447的最後幾分鐘在離開巴西里約熱內盧前往法國巴黎後,於5月2009墜入大西洋。

它的飛行記錄儀顯示 駕駛艙完全混亂。 飛機在15º處向上傾斜,自動聲音反復稱為“失速,失速”。 然而飛行員感到不安,一個人驚呼道:“我們什麼都不懂。”

這不是進入那個命運多flight的航班的來龍去脈的地方,除了注意到大多數時候設計用於自動處理突發事件的任何系統都會為設計師無法控制的少數情況留下降級的技能基礎不能預見。

說起 “名利場”密歇根大學的工業工程師Nadine Sarter回憶起與五名參與建造特定飛機的工程師的談話。


內在自我訂閱圖形


我開始問,'那麼,這個或那個有用嗎?' 他們無法就答案達成一致。 所以我在想,如果這五個工程師不能同意,這個可憐的飛行員,如果遇到那種特殊情況......好吧,祝你好運。

實際上,明智地飛行高度複雜的高科技客機的複雜性已被外包給機器人 飛行工程師的所有意圖和目的都消失了 從駕駛艙。 只有年長的飛行員和前空軍飛行員才能保留這些詳細技能。

回到地球上,在一個自動駕駛的世界裡,可能會有整個後代,沒有任何實際經驗 駕駛和導航 一輛車。

我們已經看到了一個跡象 什麼可能出錯 當人類離開控制權時 自治系統.

對此事的調查 使用自動駕駛儀的特斯拉Model S致命的撞車事故 他指出,該公司向司機提供了有關“系統限制”的信息。 在這種情況下,仍然需要注意的是司機。

但是,如果事情在未來出現問題,那麼一個人有什麼機會接管任何控制措施 全自動駕駛汽車。 他們甚至會知道如何發現即將發生災難的早期跡象嗎?

迷失方向?

推動這是一種技術決定論,認為任何和所有創新本質上都是好的。 雖然新興技術可能尚未定義人類的本質,但挑戰在於 認識到風險 以及如何確保事情不會出錯。

隨著我們增加複雜性,尤其是自動駕駛,這變得越來越困難 郊區火車, 空中的士送貨無人機.

系統設計人員一直在構建更大,更交織的系統來共享計算機處理負載,即使這使他們的創建成為故障的主要候選者。 他們忽視了這樣一個事實:一旦所有東西都連接在一起,問題就像解決方案一樣容易傳播,有時甚至更多

自動化世界的日益複雜和巨大的複雜性帶來了類似的風險。

危險點

事後看來,需要的是能夠在存在故障點時自由切斷網絡,或者至少在其中的其他地方存在故障點時封鎖單個網絡的部分。

這種“孤島化”是智能電網的一個特徵,它提供了將網絡分成能夠自我維持其內部電力需求的片段的範圍。 建模表明了這一點 更少的連接可以帶來更多的安全性.

緊急複雜性科學能幫助確定危險點在高度互聯的網絡中的位置嗎? Marten Scheffer及其同事 認為這樣。 他看到(他的)自然系統的行為與經濟和金融系統之間存在相似之處。

他的 早期的工作 在湖泊,珊瑚礁,海洋,森林和草原上,發現受氣候,養分負荷和棲息地喪失等逐漸變化的環境可以達到臨界點,將其轉變為有時不可逆轉的較低狀態。

處理金融市場穩定性的銀行家和經濟學家是否可以從生態學,流行病學和氣候學的研究人員那裡學習開發接近臨界閾值和系統崩潰的標記?

在二月2016這一切都以形式出現在一起 關於復雜性理論和金融監管的論文 由廣泛的專家共同撰寫,包括經濟學家,銀行家,物理學家,氣候學家,生態學家,動物學家,獸醫和流行病學家。

他們建議在線整合數據,方法和指標,以近乎實時的方式為全球社會經濟和金融系統提供壓力測試。 前者類似於處理其他復雜系統(如天氣)所取得的成果。

我們可以開始看到我們的自動駕駛世界的例子如何折疊成網絡穩定性的問題。 想像一下高度互聯的自動駕駛汽車網絡。

在出現潛在的悲劇性後果之前,顯然需要知道如何檢測和隔離此類網絡中的任何潛在故障點。 這不僅僅是保護駕駛員和乘客免受單個自動駕駛車輛中的任何系統故障。

是時候考慮如何利用這些多學科的進步來理解這種大規模網絡的穩定性,以避免產生嚴重後果。

關於作者

Peter Fisher,全球,城市和社會研究兼職教授, RMIT大學

這篇文章最初發表於 談話。 閱讀 原創文章.

相關書籍

at InnerSelf 市場和亞馬遜