人工智能是否會讓您失去信譽?

申請銀行或信用卡公司貸款並被拒絕的人,應該解釋為什麼會發生這種情況。 這是一個好主意 - 因為它可以幫助教人們如何修復他們受損的信用 - 這是聯邦法律, 平等信用機會法。 在人類做出這些決定的過去幾年裡,得到答案並不是什麼大問題。 但是今天,隨著人工智能係統越來越多地幫助或取代做出信用決策的人,獲得這些解釋變得更加困難。 談話

傳統上,拒絕申請的信貸員可以告訴潛在藉款人他們的收入水平或工作經歷有問題,或者 無論問題是什麼。 但使用複雜的計算機化系統 機器學習 模型很難解釋,即使是專家也是如此。

消費者信貸決策只是這個問題產生的一種方式。 類似的擔憂 存在於 保健, 網絡營銷 乃至 刑事司法。 當我找到一個研究小組時,我自己對這個領域感興趣 在線廣告如何定位的性別偏見,但無法解釋為什麼會發生。

使用機器學習來分析流程和做出決策的所有這些行業和許多其他行業都需要一年多的時間才能更好地解釋他們的系統如何工作。 5月2018,新的 歐盟通用數據保護條例 生效,包括讓人們有權獲得影響他們生活的自動決策的部分。 這些解釋應該採用什麼形狀,我們實際可以提供它們嗎?

確定關鍵原因

描述自動化決策出現的原因的一種方法是確定決策中影響最大的因素。 多少信用拒絕決定是因為申請人沒有賺到足夠的錢,或者因為他過去沒有償還貸款?


內在自我訂閱圖形


我在卡內基梅隆大學的研究小組,包括博士生Shayak Sen和當時的博士後Yair Zick創造了一條通往 衡量相對影響力 每個因素。 我們稱之為定量輸入影響。

除了更好地理解個人決策之外,衡量還可以揭示一組決策:算法是否主要因為財務問題而拒絕信用,例如申請人已經欠其他債務多少? 或者申請人的郵政編碼更重要 - 建議更多基本的人口統計數據,比如種族可能會發揮作用?

捕獲因果關係

當系統基於多個因素做出決策時,確定哪些因素導致決策及其相對貢獻是很重要的。

例如,假設一個信用決策系統只需要兩個輸入,一個申請人的債務收入比和她的種族,並且已被證明只批准高加索人的貸款。 了解每個因素對決策的貢獻程度可以幫助我們了解它是否是一個合法的系統,或者它是否具有區別性。

解釋可以只看輸入和結果並觀察相關性 - 非高加索人沒有獲得貸款。 但這種解釋太簡單了。 假設被拒絕貸款的非高加索人的收入低於申請成功的高加索人。 然後,這種解釋無法告訴我們申請人的種族或債務與收入比率是否導致了否認。

我們的方法可以提供這些信息。 告訴我們差異意味著我們可以弄清楚該制度是否存在不公正的歧視或者是否正在考慮合法標準,例如申請人的財務狀況。

為了衡量種族在特定信貸決策中的影響,我們重新申請流程,保持債務與收入比率不變,但改變了申請人的種族。 如果改變比賽確實會影響結果,我們知道比賽是一個決定性因素。 如果沒有,我們可以得出結論,算法只關注財務信息。

除了識別原因的因素外,我們還可以衡量它們對決策的相對因果影響。 我們通過隨機改變因子(例如種族)並測量結果改變的可能性來做到這一點。 可能性越高,因子的影響越大。

聚集影響力

我們的方法還可以包含多個協同工作的因素。 考慮一個決策系統,向符合以下三個標準中的兩個標準的申請人提供信貸:信用評分高於600,汽車所有權以及申請人是否已全額償還住房貸款。 假設信用評分為730並且沒有汽車或房屋貸款的申請人Alice被拒絕信用。 她想知道她的汽車所有權狀況或房屋貸款償還歷史是否是主要原因。

類比可以幫助解釋我們如何分析這種情況。 考慮一個法院,由三名法官組成的小組的多數投票作出決定,其中一名是保守派,一名是自由派,第三名是搖擺投票,有人可能與她的任何一位同事站在一起。 在2-1保守派決定中,搖擺法官對結果的影響要大於自由派法官。

我們信用榜中的因素就像三位法官。 第一位法官通常投票支持貸款,因為許多申請人的信用評分都很高。 第二位法官幾乎總是投票反對貸款,因為很少有申請人支付房屋費用。 所以這個決定歸結為搖擺法官,在愛麗絲的案件中,由於她沒有汽車而拒絕貸款。

我們可以通過使用來完成這個推理 合作博弈論,一個更具體地分析不同因素如何促成單一結果的系統。 特別是,我們將相對因果影響的測量結果與 Shapley值,這是一種計算如何將影響歸因於多個因素的方法。 這些形成了我們的定量輸入影響測量。

到目前為止,我們已經通過使用真實世界數據集訓練常見的機器學習算法來評估我們在決策系統上的方法。 在現實世界中評估算法是未來工作的主題。

一個開放的挑戰

我們分析和解釋算法如何做出決策的方法在人類容易理解因素的環境中最有用 - 例如債務與收入比率和其他財務標準。

然而,解釋更複雜算法的決策過程仍然是一個重大挑戰。 以圖像識別系統為例,就像那些 檢測並跟踪腫瘤。 基於單個像素解釋特定圖像的評估並不是非常有用。 理想情況下,我們希望得到一個解釋,提供對決策的額外洞察 - 例如識別圖像中的特定腫瘤特徵。 實際上,為這種自動化決策任務設計解釋正在吸引許多研究人員 忙碌.

關於作者

Anupam Datta,計算機科學與電氣與計算機工程副教授, 卡內基 - 梅隆大學

這篇文章最初發表於 談話。 閱讀 原創文章.

相關書籍

at InnerSelf 市場和亞馬遜