當(dāng)使用谷歌翻譯將西班牙語的新聞翻譯為英語時，涉及到女性的短語通常都會翻譯為“他說”或“他寫道”。常用于處理和分析大量自然語言數(shù)據(jù)的詞嵌入(Word Embedding)算法通常會將歐美名字預(yù)測為令人愉快的人物形象，而將非裔美國人名預(yù)測為令人不愉快的人物形象。

這些只是AI應(yīng)用歧視特定人群中的一小部分案例，還有更多未被發(fā)現(xiàn)。

正如很多學(xué)者所指出的，偏頗決策并非AI獨有，但隨著AI的影響范圍逐漸擴大，使得這個問題的解決變得尤為重要。實際上，偏見問題的普遍性意味著我們需要系統(tǒng)的解決方案，下文我們列出了幾種可能的策略。

有偏數(shù)據(jù)

無論是在學(xué)術(shù)界還是工業(yè)界，從發(fā)行的出版物和媒體等公開刊物和報道來看，計算機科學(xué)家們均傾向于通過訓(xùn)練更加復(fù)雜的算法而獲得榮譽，而對于數(shù)據(jù)收集、數(shù)據(jù)處理和數(shù)據(jù)組織相對關(guān)注較少。

AI產(chǎn)生偏差的主要原因在于訓(xùn)練數(shù)據(jù)。大部分機器學(xué)習(xí)任務(wù)都基于大規(guī)模的、帶標(biāo)注的數(shù)據(jù)集進行訓(xùn)練。例如，針對圖片分類的深度神經(jīng)網(wǎng)絡(luò)通常基于ImageNet進行訓(xùn)練，而ImageNet上有著超過1400萬張的標(biāo)注圖像集。

在自然語言處理中，標(biāo)準(zhǔn)算法一般基于具有數(shù)十億個單詞的語料庫進行訓(xùn)練。研究人員通常使用特定查詢關(guān)鍵詞通過爬取類似谷歌圖像、谷歌新聞等網(wǎng)頁來搜集數(shù)據(jù)，或者通過整合例如維基百科等比較容易獲取的數(shù)據(jù)源上的信息來構(gòu)建數(shù)據(jù)集。

這些數(shù)據(jù)集后續(xù)通常由研究生或眾包平臺，如亞馬遜眾包平臺(Amazon Mechanical Turk)進行標(biāo)注處理。這些處理方法可能會無意識地讓數(shù)據(jù)產(chǎn)生性別、種族和文化偏見。通常來說，數(shù)據(jù)中包含的某些群體占比較高，而另一些群體則占比較少。ImageNet作為推動計算機視覺研究的訓(xùn)練數(shù)據(jù)源，其中超過45% 的數(shù)據(jù)來源于美國用戶，而這些數(shù)據(jù)提供者僅占全世界人口的 4%。

相比之下，中國和印度用戶總共貢獻了 3% 的數(shù)據(jù)，而這些國家的人口占據(jù)了全世界人口的36% 。這種地理多樣性的缺乏從某種情況下解釋了為何計算機視覺算法會將一張美國傳統(tǒng)新娘的照片標(biāo)記為“新娘”、“禮服”、“女人”、“婚禮”，而將另一張北印度新娘的照片則標(biāo)記為“表演藝術(shù)”和“服裝”。

在醫(yī)學(xué)領(lǐng)域，機器學(xué)習(xí)預(yù)測器可能特別容易受到有偏數(shù)據(jù)集的影響，因為醫(yī)學(xué)數(shù)據(jù)的生產(chǎn)和標(biāo)注成本非常高。去年，研究人員使用深度學(xué)習(xí)從照片中識別皮膚癌。

他們在129,450張圖片集上進行模型訓(xùn)練，其中60% 的圖片來源于從谷歌圖片。但是其中有不到5%的圖片是屬于深色皮膚人群的，并且該算法并未在深色皮膚人群上進行過測試。因此這個分類器對不同人群的性能可能會有顯著變化。

造成偏差的另一個原因是算法本身。

典型的機器學(xué)習(xí)程序會嘗試最大化訓(xùn)練數(shù)據(jù)的整體預(yù)測準(zhǔn)確性。如果訓(xùn)練數(shù)據(jù)中一組特定群體的出現(xiàn)頻率明顯超過其他群體，則程序?qū)槍Υ祟惾后w的數(shù)據(jù)進行優(yōu)化來提供整體準(zhǔn)確率。一般計算機科學(xué)家基于“測試數(shù)據(jù)集”進行算法評估，但測試集通常是原始訓(xùn)練集的隨機子樣本，所以也有可能存在同樣的偏差。

有缺陷的算法可以通過循環(huán)反饋放大偏差。想象一下根據(jù)統(tǒng)計學(xué)訓(xùn)練的系統(tǒng)，例如谷歌翻譯，其默認(rèn)使用的是男性代名詞。這種模式是由英語語料庫中男性與女性代名詞比例2:1的情況造成的。更糟的是，每一次翻譯程序默認(rèn)翻譯為“他說”，都會增加相應(yīng)男性代名詞出現(xiàn)在網(wǎng)頁上的幾率——這可能會潛在地影響來之不易數(shù)據(jù)糾偏進展。

得益于大規(guī)模的社會變革，才使得男女代名詞的比例從20世紀(jì)60年代的4:1下降到現(xiàn)在的2:1。

平衡傾斜

數(shù)據(jù)中的偏差常常會反映出制度建設(shè)和社會權(quán)利關(guān)系的深層次和隱性失衡。以維基百科為例，它似乎是一個豐富多樣的數(shù)據(jù)源。但是該網(wǎng)站的傳記條目中只有不到18%是關(guān)于女性的。從女性文章鏈接到男性文章的次數(shù)遠(yuǎn)大于反過來鏈接的次數(shù)，這使得男性更容易被搜索引擎獲取到。男性還更多的被浪漫伴侶和家庭的相關(guān)文章所提及。

因此，建立訓(xùn)練數(shù)據(jù)集時必須注意算法調(diào)優(yōu)情況和社會意識行為。具體而言，應(yīng)該采取措施來確保數(shù)據(jù)集具有多樣性，并且不代表特定群體。

這意味著不能再采用簡單的分類——“男/女”、“黑/白”等等——這些分類很難表達性別和種族身份的復(fù)雜性。一些學(xué)者已經(jīng)開始對此展開工作。計算機科學(xué)家最近發(fā)現(xiàn)，商業(yè)面部識別系統(tǒng)在識別膚色較深的女性相比膚色較淺的男性會更容易產(chǎn)生性別分類錯誤，錯誤率分別為35%和0.8%。

為解決這個問題，研究人員重新構(gòu)建了一個由1,270個人組成的新的圖像數(shù)據(jù)集，來均衡性別和種族比例。使用這些數(shù)據(jù)重新訓(xùn)練和微調(diào)后的面部分類算法應(yīng)該可以提高其準(zhǔn)確性。為了幫助確定偏差來源，我們建議注釋者使用標(biāo)準(zhǔn)化元數(shù)據(jù)對訓(xùn)練數(shù)據(jù)集的內(nèi)容進行系統(tǒng)化的標(biāo)注。一些研究小組已經(jīng)在設(shè)計包含機器學(xué)習(xí)數(shù)據(jù)集的元數(shù)據(jù)和“有效標(biāo)簽”的“數(shù)據(jù)表”。

含機器學(xué)習(xí)數(shù)據(jù)集的元數(shù)據(jù)和“營養(yǎng)標(biāo)

每個訓(xùn)練數(shù)據(jù)集都應(yīng)有相關(guān)信息來說明該數(shù)據(jù)集是如何收集以及是如何對數(shù)據(jù)進行注釋的。如果數(shù)據(jù)包含有關(guān)人員的信息，則應(yīng)提供有關(guān)地理、性別、種族和其他人口統(tǒng)計信息的摘要。如果數(shù)據(jù)標(biāo)簽是通過眾包完成的，那么應(yīng)該包括有關(guān)人群參與者的基本信息，以及他們給出的確切請求或指示。

數(shù)據(jù)管理者應(yīng)盡可能提供與數(shù)據(jù)相關(guān)的準(zhǔn)確描述。例如，在刑事司法數(shù)據(jù)的例子中，了解模型訓(xùn)練過哪些“犯罪”類型數(shù)據(jù)有助于應(yīng)用和解釋該模型。

內(nèi)置修復(fù)程序

許多期刊已經(jīng)要求作者提供類似的實驗數(shù)據(jù)信息作為出版的先決條件。例如，Nature要求作者將所有微陣列數(shù)據(jù)上傳到開放存取庫Gene Expression Omnibus——這就有需要作者提交實驗協(xié)議的元數(shù)據(jù)。我們鼓勵像國際機器學(xué)習(xí)會議這樣的會議組織者去提出類似的要求，將標(biāo)準(zhǔn)化的元數(shù)據(jù)作為最終提交和同行評審過程的重要組成部分。數(shù)據(jù)存儲庫的主機(例如OpenML)和AI競爭平臺(例如Kaggle)也應(yīng)該這樣做。

最重要的是，計算機科學(xué)家應(yīng)該努力開發(fā)更加完善的算法來消除數(shù)據(jù)中存在的人的偏見。目前研究者正在探尋各種方法來解決數(shù)據(jù)偏差的問題，其中之一是納入約束，本質(zhì)上就是推動機器學(xué)習(xí)模型，以確保它在不同的子群體和類似的個體之間實現(xiàn)公平的算法。一種相關(guān)的方法是改變學(xué)習(xí)算法，以減少其對敏感屬性如種族、性別和收入等以及與這些特征相關(guān)的信息的依賴。

這種新產(chǎn)生的去除偏差的方法很有潛力，但需要通過實踐的檢驗與完善。

然而，不可回避的問題是，種族、性別和其他相關(guān)信息是需要被準(zhǔn)確記錄的。除非有很好的實例，否則很難知道應(yīng)該對模型施加哪些約束或更正。相關(guān)方法也要求算法設(shè)計者可以先驗地確定他們想要避免哪些類型的偏差。一種互補的方法是使用機器學(xué)習(xí)本身來識別和量化算法和數(shù)據(jù)中的偏差。 我們稱之為進行AI審計，其中審計員是一種系統(tǒng)地探測原始機器學(xué)習(xí)模型，以識別模型和訓(xùn)練數(shù)據(jù)中的偏差的算法。

以我們最近工作中使用的一種流行的機器學(xué)習(xí)方法——詞嵌入為例，來量化美國的歷史成見。詞嵌入將每個英語單詞映射到空間中的點(幾何向量)，這樣向量之間的距離就能捕獲對應(yīng)單詞之間的語義相似性。它捕捉了類比關(guān)系，例如'man'是'king'，'woman'是'queen'。我們開發(fā)了一種算法——AI審計員，來查詢其他性別類比的嵌入。這表明“man”是“doctor”，而“woman”是“nurse”;“man”是“computer programmer”，而“woman”是“homemaker”“。

一旦審核員在單詞嵌入和原始文本數(shù)據(jù)中揭示了歷史成見，就可以通過修改單詞向量的位置來減少偏差。此外，通過評估成見的演變過程，對歷史文本進行訓(xùn)練的算法可能會有消除偏差的作用。例如，從1910年到1990年，谷歌圖書每十年的美國文本數(shù)據(jù)嵌入一次，就會發(fā)現(xiàn)這期間美國人對亞裔的態(tài)度令人非常震驚且變化無常。1910年，美國人對亞裔的描述為“怪異”和“野蠻”。

到1990年，在第二次世界大戰(zhàn)后和20世紀(jì)80年代的移民浪潮時期，美國人的態(tài)度發(fā)生了巨大轉(zhuǎn)變，又用“抑制”和“敏感”來描述亞裔。

根源性方法

計算機科學(xué)家、倫理學(xué)家、社會科學(xué)家和其他許多人都在努力提高數(shù)據(jù)和AI的公平性，我們也是時候考慮一下何為公平了。

數(shù)據(jù)展現(xiàn)了這個世界的本來面貌，還是被塑造成人們想要它成為的樣子?同樣，一個人工智能工具是否應(yīng)該用來評估一份工作的候選人，以及這個人是否能很好地融入工作環(huán)境? 誰又應(yīng)該決定優(yōu)先考慮哪種公平觀念?

為了解決這些問題并評估訓(xùn)練數(shù)據(jù)和算法的更廣泛影響，機器學(xué)習(xí)研究人員必須與社會科學(xué)家以及人文、性別、醫(yī)學(xué)、環(huán)境和法律等方面的專家進行交流。當(dāng)前，正在努力促進這種合作，包括我們在加州斯坦福大學(xué)參加的“以人為本的AI”計劃。這種參與必須從本科階段開始，這個階段的學(xué)生不僅要了解算法的工作原理，同時還要研究AI的社會背景。

設(shè)備、程序和流程塑造了我們的態(tài)度、行為和文化。AI正在改變經(jīng)濟和社會，改變我們溝通和工作的方式，重塑治理模式和政治環(huán)境。我們的社會長期忍受著不平等，AI絕不能與此沆瀣一氣。