我們需要了解政府用來做出關於我們的決策的算法

我們需要了解政府用來做出關於我們的決策的算法

在刑事司法系統,信貸市場,就業領域,高等教育招生流程甚至 社交媒體網絡,數據驅動的算法 現在推動決策 以觸及我們的經濟,社會和公民生活的方式。 這些軟件系統使用人工製定或數據引發的規則對信息進行排名,分類,關聯或過濾,從而實現對大量人群的一致治療。

雖然這些技術可能會提高效率,但它們也可以 港口對弱勢群體的偏見 or 加強結構性歧視。 例如,在刑事司法方面,基於在一大群人中衡​​量的統計趨勢來判斷個人的假釋是否公平? 應用統計模型會產生歧視嗎? 為一個州的人口發展到另一個人口不同的人口?

公眾需要了解公共領域使用的算法的偏見和力量,包括政府機構。 我參與的一項努力,稱為 算法問責制,旨在使這些系統的影響更清晰,更廣泛地被理解。

現有的透明度技術,當應用於算法時,可以使人們能夠監視,審計和批評這些系統是如何運作的 - 視情況而定。 不幸的是,政府機構似乎沒有準備好查詢算法及其在決策中的用途,這些決策對個人和公眾都有重大影響。

打開算法進行公眾審查

去年 聯邦政府開始研究 使用計算機數據分析的利弊有助於確定監獄囚犯在釋放後重新犯罪的可能性。 將個人評為低風險,中等風險或高風險可以幫助做出住房和治療決策,識別可以安全地被送到最低安全監獄或甚至是“中途宿舍”的人,或者從特定類型的人中受益的人心理護理。

這些信息可以使司法程序更有效,更便宜,甚至可以減少監獄擁擠。 已經證明,對高風險罪犯等低風險罪犯進行治療 在一些研究中 導致他們內化成為一個“生病”的罪犯,需要對他們的不正常行為進行治療。 因此,將它們分開可以減少在釋放時導致再犯的消極行為的發展。

評估囚犯重新犯罪風險的數據和算法已經存在 被各州廣泛使用 管理審前拘留,緩刑,假釋,甚至量刑。 但是他們很容易被忽視 - 他們往往看起來像不起眼的官僚文書工作。

通常,算法歸結為簡化的評分錶,由公務員填寫,對基礎計算知之甚少。 例如,一名案件工作者可以使用一種表格評估囚犯,案件工作人員記錄該囚犯被判犯有暴力罪行,在第一次被捕時年輕,並且沒有從高中畢業或獲得GED。 這些因素以及關於此人和犯罪的其他特徵導致得分錶明囚犯是否有資格進行假釋審查。

表單本身及其評分系統經常披露關於算法的關鍵特徵,例如所考慮的變量以及它們如何組合在一起以形成總體風險評分。 但對於算法透明度而言,重要的是了解這些表單的設計,開發和評估方式。 只有這樣,公眾才能知道得分所涉及的因素和計算是否公平合理,或者是不知情和有偏見的。

使用信息自由法案

我們掌握這些表格及其支持材料的主要工具是法律,特別是信息自由法。 它們是公眾為確保政府透明度而擁有的最強大的機制之一。 在聯邦一級, 信息自由法案(FOIA) 允許公眾正式要求 - 並期望收到 - 聯邦政府提供的文件。 存在類似的法規 對於每個州.

在1966中實施,FOIA是在廣泛使用計算之前創建的,並且在大量數據通常用於軟件系統來管理個人和進行預測之前就已經創建了。 有過 一些初步研究 進入FOIA是否能夠促進軟件源代碼的披露。 但問題仍然是現行法律是否能夠滿足21世紀公眾的需求:我們可以使用FOIA算法嗎?

算法透明度的案例研究

我打算回答這個問題 菲利普梅里爾新聞學院 在馬里蘭大學,我是一名助理教授。 在2015秋季,我和我的同事Sandy Banisky的媒體法課程一起,我們引導學生向每個50州提交FOIA請求。 我們要求提供與刑事司法中使用的算法相關的文件,數學描述,數據,驗證評估,合同和源代碼,例如假釋和緩刑,保釋或量刑決定。

作為一個為期一學期的項目,努力必然受到時間的限制,有很多障礙和相對較少的成功。 與許多記者的調查一樣,即使找出要問的對象 - 以及如何 - 也是一個挑戰。 不同的機構可能負責刑事司法系統的不同領域(判決可能由法院進行,但由懲教部門進行假釋管理)。

即使在找到合適的人之後,學生們發現政府官員使用了不同的術語,這使得很難傳達他們想要的信息。 有時,學生們必須努力向一位不那麼精通數據的公務員解釋“刑事司法算法”。 回想起來,要求“風險評估工具”可能更有效,因為這是州政府經常使用的術語。

處理答案

一些州,例如科羅拉多州,拒絕了我們的要求,稱這些算法包含在軟件中,這不被視為開放政府法律要求官員公開的“文件”。 不同的州在披露軟件使用方面有不同的規則。 這有時會出現在法庭上,例如2004 適合底特律市 關於是否應公開向鄰近城市收取水費的公式。

在我們自己的努力中,我們只收到了刑事司法算法的一個數學描述:俄勒岡州披露 16變量及其權重 在那裡用來預測累犯的模型。 北達科他州發布了一份Excel電子表格,顯示了用於確定囚犯有資格獲得假釋的日期的等式。 在愛達荷州和新墨西哥州,我們收到了一些文件,其中描述了這些州使用的累犯風險評估,但沒有詳細說明它們是如何開發或驗證的。

九個州拒絕透露有關其信息真正歸公司所有的聲稱的刑事司法算法的詳細信息。 這意味著發布算法會損害開發算法的公司。 常見的累犯風險問卷, 稱為LSI-R,原來是一個受版權保護的商業產品。 夏威夷和緬因州等國家聲稱無法向公眾披露。

路易斯安那州表示,與開發商簽訂的新風險評估技術合同禁止在六個月內發布所要求的信息。 肯塔基州引用了與合同的合同 慈善基金會 因為它無法透露更多細節。 對專有信息的擔憂可能是合法的,但鑑於政府經常與私營公司簽訂合同,我們如何在可解釋且合法的司法系統中平衡這些擔憂?

做出改進

迫切需要的FOIA改革是 目前正在審議中 國會。 這為法律現代化提供了機會,但提議的變更對於適應政府中越來越多的算法使用仍然沒有作用。 算法透明度信息 可能是編纂的 報告中政府定期生成並公佈,作為常規業務的一部分。

作為一個社會,我們應該要求對公共信息官進行培訓,使他們識字,並且在公眾要求算法時可能會遇到他們可能遇到的術語。 聯邦政府甚至可能為“算法沙皇”創建一個新職位,這是一個監察員,其任務是與政府自動化進行溝通和實地調查。

我們在研究中收到的所有文件都沒有告訴我們如何制定或評估刑事司法風險評估表。 由於算法控制著我們越來越多的生活,公民需要 - 並且必須要求 - 提高透明度。

關於作者

迪亞科普洛斯尼古拉斯Nicholas Diakopoulos,哥倫比亞大學Tow數字新聞中心研究員; 馬里蘭大學新聞學助理教授。 他的研究領域是計算和數據新聞,重點是新聞中的算法問責制,敘事數據可視化和社交計算。

這篇文章最初發表於 談話。 閱讀 原創文章.

相關書籍

{amazonWS:searchindex = Books; keywords = digital privacy; maxresults = 3}

enafarZH-CNzh-TWtlfrdehiiditjamsptrues

關注InnerSelf

Facebook的圖標Twitter的圖標RSS圖標

通過電子郵件獲取最新信息

{emailcloak = OFF}