近日,阿里巴巴集團(下稱“阿里”)安全部在接受澎湃新聞(www.thepaper.cn)采訪時介紹了AI鑒黃的有關工作:當用戶輸入一張圖片,AI將返回一個0-100之間的分值。這個分值非線性地標示了圖片含色情內容的概率。對于互聯網場景模型,得分99及以上的圖片幾乎可以肯定是色情圖,無需人工復審;得分50-99的需要人工審核;得分50以下的認為是正常圖。
隨著AI鑒黃技術的發展,人工鑒黃師逐漸從鑒黃行業里被解放出來。阿里安全部高級算法專家威視向澎湃新聞介紹,假設一天要審核4億張圖片,單純由人工來審,如果一人一天審1萬張,就需要4萬人。而經由AI鑒黃后需要交由人工審核的量大約只需20萬張,這樣只需要20人,大大節省了人力。
不僅僅在識圖領域,威視告訴澎湃新聞,AI鑒黃還覆蓋到了語音、視頻等多媒體領域,目前已經可以識別中文、英文、日文、俄文等語言,還可以識別中國多省份方言,無語義的呻吟聲也能識別。據悉,阿里將在8月21日舉辦的網絡安全生態峰會上,集中展示這些技術。
鑒黃AI是怎樣煉成的?
阿里的鑒黃AI做的色情圖片檢測,從原理上來說,就是一個典型的圖像分類問題。當前的解決方案是標注樣本后,使用深度學習技術訓練一個人工神經網絡。具體步驟包括明確分類標準→收集樣本→樣本打標→模型訓練,四個步驟。其中前三個步驟主要由人工完成。
這四個步驟聽起來似乎是最后一步的技術難度最高,實際上阿里的相關人士向澎湃新聞透露,花時間最久的是第一步。
“雖然實打實的比如‘露點不露點’之類的色情,還有比較明確的判斷標準,”威視表示,“對于低俗和性感類,爭議就比較多,不同的人有不同的認識。”
現實世界是復雜的,威視舉了個例子,以兒童色情的問題為例:兒童露點算不算色情?有人會說:男孩不算,女孩算。又有人質疑:如果男孩年齡較大呢?如果是發育較早的孩子呢?于是又又有人說,十二三歲的男孩子露點算色情。那么,十一歲的呢?或者,如何從圖片中判斷孩子年齡到底有多大呢?
威視告訴澎湃新聞,雖然明確分類標準是設計步驟時的第一步,但在后續打標過程中,遇到實際的問題還要再對標準進行不斷的修正和增補。
被鑒黃AI誤認為是色情的圖片
在收集樣本的過程中,團隊“集思廣益”,瀏覽了近2000家網站,下載了超過6000萬張疑似色情圖片,實際去重后約2300萬張圖片,并實際標注了超過1300萬張圖片。這1300多萬張圖片成為模擬訓練的原始數據庫,因此這一浩大的工程,被技術人員認為是鑒黃引擎成功最重要的基石。
樣本打標過程依然主要由人工完成對2000萬張圖片的打標。威視介紹,他們做了一個打標工具,并建立了質量控制體系。打標前對所有參加標注的人員先進行培訓,學習打標標準,做練習題考試,考試通過之后才能上崗。標中通過事先已有答案的校驗題,或多人對同一對象打標的方式,進行標中控制。標后的控制,就是通過模型判斷,找出可疑部分再進行人工標注。
威視表示,之所以嚴格把握樣本打標的過程,是因為深度學習,對高質量的標注數據是有很高的要求。數據標志質量越高,最后模型的精度就會越高。
于是,由人類經過千挑萬選、做題考試后建立起來的高質量“色情圖片”數據庫,最后交由模型訓練。威視表示,GPU機器單機單卡的情況下訓練時間要近一個月。后來阿里團隊更換了網絡結構并實現了多機多卡訓練,將千萬級別樣本的訓練時間控制在一周左右。
“AI最好的應用模式依然是人+機”
那么,高效和低成本的AI鑒黃,是否會完全替代人工鑒黃師?
對此,阿里安全部產品專家念夏向澎湃新聞表示,目前AI鑒黃最好的應用模式仍然是人工+機器。不管是前期設計模型的標準和實際打標,還是后期人工復核,人的參與都是不可或缺的。
2015年7月的“北京三里屯優衣庫事件”,一段時長1分鐘的試衣間不雅視頻流出,并2個小時內在各大網絡平臺上迅速完成了過億的轉發量。但目前只有人的頭腦擁有足夠的“意識”判斷這些單獨的突發性事件,是否屬于“違規”。
“已知的、有清晰標準定義的風險,AI都已經能解決了。”念夏表示,真正的難點是惡意的突發事件,爆發了就是爆發了,這種情況下,由于之前對該事件或場景缺乏標準的定義,當時要直接給AI及時去處理,是不可能的。”
另一種類型就是非常模棱兩可的場景,即AI打分在50-99分之間的內容。念夏表示,帶有主觀個人意識或者群體意識的部分,就是需要人工審核的核心部分。
此外,包括特定的體育運動以及國際標準差異等問題,前期模型調整和后期復核標準變化,也需要人工審核的出馬。
威視表示,目前像包括相撲、摔跤、藝術體操甚至游泳等門類的運動,由于穿著較為特殊,一般把這類多媒體作品定性為性感類,經由人工復核,終極目標還是希望能讓AI直接分辨出圖片上的人是在參加運動比賽。
被鑒黃AI誤認為是色情的圖片
從國際上來看,雖有通用的鑒黃標準,但也會有與國內標準大相徑庭的地方。念夏向澎湃新聞舉了個例子:“國內如果直播給小寶寶洗澡,其實沒什么事,大家覺得很可愛。但在國外是絕對不行的,而且屬于嚴重違規。”
阿里的AI除了用于鑒黃,念夏表示利用這個原理,還能訓練AI做類似編審的工作,比如選取視頻封面、鑒定重復視頻等。“不僅是做合規方面的事情,我們希望利用AI去做真正的生產提效,用技術解決更多社會問題。”
-
AI
+關注
關注
87文章
30146瀏覽量
268414 -
人工智能
+關注
關注
1791文章
46859瀏覽量
237567
原文標題:阿里AI鑒黃師一日鑒圖數億張 人工鑒黃師要"涼涼"了
文章出處:【微信號:worldofai,微信公眾號:worldofai】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論