（文章來(lái)源：澎湃新聞）

對(duì)于一家人工智能公司來(lái)說(shuō)，數(shù)據(jù)是他們訓(xùn)練、調(diào)整算法和模型的關(guān)鍵，也是安身立命之本。但要安全處理數(shù)據(jù)，并讓數(shù)據(jù)產(chǎn)生自己想要的結(jié)果，并不簡(jiǎn)單。

舉個(gè)簡(jiǎn)單的例子，Netflix曾舉辦了一場(chǎng)根據(jù)公開(kāi)數(shù)據(jù)推測(cè)用戶(hù)電影評(píng)分的比賽（Netflix Prize），公開(kāi)數(shù)據(jù)中抹去了可識(shí)別用戶(hù)的信息，但一年后，來(lái)自得克薩斯大學(xué)奧斯汀分校的兩名研究員將公開(kāi)數(shù)據(jù)與IMDb（互聯(lián)網(wǎng)電影數(shù)據(jù)庫(kù)）網(wǎng)站公開(kāi)紀(jì)錄進(jìn)行關(guān)聯(lián)，通過(guò)差分攻擊等手段識(shí)別出了匿名用戶(hù)的身份。三年后，Netflix最終因隱私原因宣布停止該比賽，并付出了九百萬(wàn)美元的高額賠償金。

對(duì)于那些手握大量人口數(shù)據(jù)的部門(mén)，這種攻擊可能就是致命的。因?yàn)閭鹘y(tǒng)的做法是對(duì)數(shù)據(jù)的敏感列作匿名化，但這些做法并不能完全保證數(shù)據(jù)安全，攻擊者還可以對(duì)分析結(jié)果的差分攻擊以及查表撞庫(kù)等方法反推原數(shù)據(jù)。

為了應(yīng)對(duì)攻擊，有研究人員提出了一種數(shù)據(jù)加密技術(shù)，稱(chēng)為差分隱私。《MIT科技評(píng)論》評(píng)選的2020年十大突破技術(shù)中，就有差分隱私。《MIT科技評(píng)論》認(rèn)為未來(lái)數(shù)據(jù)保護(hù)的難度會(huì)越來(lái)越高，解決這個(gè)問(wèn)題的方法之一就是差分隱私，這種技術(shù)可以建立信任機(jī)制。

那么什么是差分隱私？它是一種數(shù)學(xué)技術(shù)，它能夠在給數(shù)據(jù)添加噪聲的同時(shí)，一直計(jì)算隱私提升的程度，從而使得增加“噪音”的過(guò)程變得更加嚴(yán)謹(jǐn)。它是對(duì)所有數(shù)據(jù)查詢(xún)、分析過(guò)程進(jìn)行約束，盡可能減少隱私泄露的風(fēng)險(xiǎn)。

具體的方法，是對(duì)原操作中的某些步驟，通過(guò)注入噪聲、混淆等形式，使得操作得到差分隱私保證。該技術(shù)可用于數(shù)據(jù)采集、數(shù)據(jù)分析建模、數(shù)據(jù)/模型發(fā)布等階段。其研究的重點(diǎn)就是如何分配隱私預(yù)算，也就是怎么加噪聲、加多少噪聲，減少對(duì)模型有效性的影響，能夠得到更加有效的結(jié)果，還能防止攻擊者通過(guò)查詢(xún)模型而泄露數(shù)據(jù)隱私。

目前，蘋(píng)果和Facebook已經(jīng)使用這種方法來(lái)收集聚合數(shù)據(jù)，而不需要識(shí)別特定的用戶(hù)。比如，蘋(píng)果公司需要搜集用戶(hù)數(shù)據(jù)，了解用戶(hù)習(xí)慣，從而更好地提升用戶(hù)體驗(yàn)。在這一過(guò)程中，利用差分隱私，就可以在不知悉用戶(hù)隱私的情況下，還能知道用戶(hù)整體的使用偏好。

這里需要提醒的一點(diǎn)是關(guān)于“隱私”的定義。隱私是針對(duì)個(gè)人的，通過(guò)攻擊方式獲得了一個(gè)人的性別是泄露隱私，但是獲得整體的性別比例或者一共多少個(gè)男性這種不屬于泄露隱私范疇。蘋(píng)果、谷歌、Facebook等公司可能只是需要其用戶(hù)的性別數(shù)量或是比例用于統(tǒng)計(jì)分析或者建模，都無(wú)需知道每個(gè)人的性別，因此，差分隱私可以在保證企業(yè)達(dá)到分析的目的，又可以保護(hù)用戶(hù)的隱私。

“相比之下，差分隱私現(xiàn)在肯定還是國(guó)外研究地更好一些，因?yàn)檎麄€(gè)技術(shù)在國(guó)外關(guān)注度更高，而且也更早一些。”第四范式主任科學(xué)家涂威威在接受澎湃新聞（www.thepaper.cn）采訪時(shí)說(shuō)。

日前，第四范式宣布，其企業(yè)級(jí)AI平臺(tái)先知（4Paradigm Sage）已經(jīng)率先完成ePrivacySeal EU認(rèn)證，成為國(guó)內(nèi)第一款通過(guò)該認(rèn)證的AI平臺(tái)產(chǎn)品。ePrivacy是全球數(shù)據(jù)安全與隱私保護(hù)最具權(quán)威性的認(rèn)證機(jī)構(gòu)之一，其認(rèn)證過(guò)程均是按照偶們發(fā)布的《通用個(gè)人數(shù)據(jù)保護(hù)條例》（簡(jiǎn)稱(chēng)“GDPR）對(duì)于產(chǎn)品的條例逐一審核，認(rèn)證覆蓋面廣且細(xì)。

差分隱私是在第四范式的產(chǎn)品中就有應(yīng)用。以醫(yī)療為例，利用差分隱私與聯(lián)邦學(xué)習(xí)進(jìn)行融合，拓展到遷移學(xué)習(xí)領(lǐng)域后，第四范式在和瑞金醫(yī)院合作的“瑞寧知糖”產(chǎn)品中，將數(shù)據(jù)較為完善的大型醫(yī)院中遷移出有價(jià)值且受隱私保護(hù)的知識(shí)，去幫助地方醫(yī)院、社區(qū)醫(yī)院、體檢中心等機(jī)構(gòu)做更加完善。

據(jù)涂威威介紹，第四范式對(duì)目前的差分隱私技術(shù)進(jìn)一步優(yōu)化，通過(guò)更好的分配隱私預(yù)算、更有效的分配噪聲等方法，做到了在保護(hù)數(shù)據(jù)隱私的同時(shí)，提升分析結(jié)果的有效性。目前，該技術(shù)可廣泛應(yīng)用于數(shù)據(jù)收集、數(shù)據(jù)分析、數(shù)據(jù)發(fā)布等階段。

另外，值得注意的是，無(wú)論是差分隱私還是聯(lián)邦學(xué)習(xí)，也都面臨著成本、安全、應(yīng)用等方面的考驗(yàn)。例如成本方面，由于技術(shù)門(mén)檻較高，其中的技術(shù)環(huán)節(jié)仍需要較多的專(zhuān)家介入到數(shù)據(jù)預(yù)處理、特征工程、模型調(diào)參當(dāng)中。另外，人力的介入又會(huì)給數(shù)據(jù)安全與隱私保護(hù)帶來(lái)一層隱患，每次人工查詢(xún)操作，均會(huì)消耗隱私計(jì)算，風(fēng)險(xiǎn)也越大。

為此，第四范式綜合了差分隱私、自動(dòng)化機(jī)器學(xué)習(xí)等技術(shù)優(yōu)勢(shì)，開(kāi)辟了自動(dòng)多方機(jī)器學(xué)習(xí)，讓機(jī)器自動(dòng)完成數(shù)據(jù)預(yù)處理、特征工程、模型調(diào)參等工作，大幅減少了專(zhuān)家人工的介入，提升安全性的同時(shí)，也大幅降低了隱私保護(hù)技術(shù)的使用門(mén)檻。
? ? ? （責(zé)任編輯：fqj）