一陣涼風吹過人工智能,讓這個曾是燥熱的領域逐漸冷卻下來,留下的是扎實地在做研究的人、機構、企業。先后在 NEC 公司中央研究所、微軟亞洲研究院、華為諾亞方舟實驗室從事和領導 AI 技術研發,現任字節跳動人工智能實驗室總監的李航,就是一位 AI 技術的堅實研究者和實踐者。
初遇“機器學習”,也曾有過懷疑
從事 AI 研究 30 多年,目前李航作為字節跳動人工智能實驗室總監,負責領導AI 技術基礎研究和產品落地,主要集中在搜索、推薦、對話、問答、教育幾個領域。目前,李航投入主要的精力在產品研發上,但仍有一些精力放在基礎研究上。
例如在搜索領域,李航表示他們今年發表了一篇關于排序學習的論文,提出使用點擊數據訓練搜索排序模型的新方法。因為點擊數據會有偏差,這個方法能自動做糾偏同時學習排序模型,在搜索中很有效。據悉,這項成果已經用到了字節跳動的搜索引擎中。這項技術的成功為搜索引擎變成一個自學習的系統邁出了重要一步。
在字節跳動,李航的主攻方向還是自然語言處理、信息檢索、數據挖掘,認為學術和落地兩者的結合至關重要。他認為,把研究的成果應用到產品,解決實際問題,同時把具有普世意義的成果,作為學術論文發表,在計算機領域這樣的工作很有價值。因此,他表示將不斷推動產品開發和學術研究,同時做好兩者之間的平衡。
對李航的現狀有所了解之后,我們不妨來了解一下,當初是什么樣的契機,讓他走上了 AI 研究的道路并一直堅持到現在。相信這會讓有意進入該領域,但是對于未來職業和人生規劃感到迷茫的年輕人受益匪淺。
1、京都大學留學開始“AI”生涯
李航回憶道,他最初與 AI “結緣”,是1988年,在日本京都大學留學的本科時期。當時,他最早做的兩個工作都是文本生成相關的。然而,彼時的主流技術并不是機器學習,而是基于規則的方法。
讀本科時,李航做了一個叫做 System Grammar(系統文法)的語言學框架,用它進行中文生成;碩士期間,他研發了一個能夠根據不同需求生成多樣表達的系統。但值得一提的是,這兩個項目中使用的都是基于規則的方法。
他回憶道,其實到 90 年代初,機器學習才進入到自然語言等領域,或者說在這些領域產生更大的影響,逐漸變成主流技術。但當李航開始進入這個行業時,狀況并不是這樣,他也未曾想到,機器學習后來會給AI帶來翻天覆地的變化。
回首 90 年代初開始接觸機器學習時的經歷,李航坦誠當時內心也有過一些懷疑,因為人的語言理解和生成機制與機器學習是完全不同,當時整個業界都認為應該基于規則建立認知模型,去做一些智能相關的任務。李航說,他的機器學習知識也都是從那時開始,通過自學獲取的。
“可以說,80 年代至 90 年代初,人們對人工智能的期待非常高,比如 80 年代日本有所謂的第五代計算機項目,那時人們覺得人工智能的實現應該通過推理技術,但后來發現那些路根本走不通。接著,在90 年代,人工智能進入低谷期,當時業界甚至都不愿意提及人工智能這個詞。相反地,更多的人把 AI 落到實處,用機器學習去做簡單的事情。”在李航的眼中,90 年代的AI從業者和研究者,是一群務實的人。
2、務實的 90年代
李航以他自己的親身經歷,講解了 90 年代那群“務實”的人。他最早接觸的機器學習算法是決策樹,叫做 ID3,這個算法其實只能做一些簡單的事情。再如,基于神經網絡的手寫數字識別,也是一個典型的例子。
李航認為,這些事情都比較簡單,聽起來也沒有那么智能,但是當時人們更多地是在腳踏實地做一些實際的事情,沒有過多考慮智能。所以,從 90 年代到本世紀初的10年,在大約 20 年的時間里,關于人工智能的談論并不多,更多的是用機器學習、數據挖掘去解決實際問題。
2012 年左右,深度學習開始火起來。而實際上,2012-2014年,最火的詞匯還不是人工智能,是大數據。直到 2015年 Alpha Go 橫空出世,人工智能這個詞才又一次完全火爆起來。所以說,業界在不斷發生變化,技術在演進,大家的關注點和期待,也在隨之改變。
新書再版,增加深度學習和強化學習
接著,我們的話題轉到了李航最近的《統計學習方法》第二版。這一次,作者在新版本中加入了無監督學習相關內容。為什么要增加這一部分內容?未來這本書還會有哪些變動?
李航指出,無監督學習有若干個不同的定義,《統計學習方法》第二版新增的無監督學習內容主要是傳統機器學習中的無監督學習,與Hinton等人最近說的深度學習中的無監督學習不盡相同。他認為無監督學習確實是深度學習未來發展的重要方向,有望讓機器變得更加智能化,像人一樣使用語言,比如,自然語言處理領域的BERT 之所以可以發揮巨大的威力,根本原因在于它做了很好的預訓練,就是無監督學習。Hinton 所謂的無監督學習是深度學習的未來,是指類似于 BERT這樣的預訓練方法。從這個意義上來說,無監督學習非常重要。
李航表示,因為這本書是在業余時間寫作的,因此耗費時間較長,第一版花了七年,第二版花了六年時間。2012 年《統計學習方法》第一版出版時正值深度學習初火,當時他曾有意加入一些神經網絡的內容,但是擔心時間拖得太久故作罷,所以第一版只對傳統機器學習中的監督學習的主要方法做了介紹。
本來,李航計劃再加上無監督學習的內容就結束本書,但是出版之后受到讀者的歡迎,這使他備受鼓舞,很多人希望再加上深度學習和強化學習,可以看到全新的,沿襲本書簡潔和重點突出風格的內容。所以,李航計劃為這本書增加深度學習和強化學習,希望可以覆蓋所有機器學習常用的方法,幫助讀者更好更快地掌握機器學習技術。然而,再出新版的時間不能確定,也許要幾年之后。
李航特別指出,這本書的定位并非入門書籍,不一定適合入門者,因為雖然該書的內容都是最基本的,沒有一定的統計概率知識和其他相關基礎知識,學起來可能有點吃力。他希望,這本書能成為一本字典一樣的書籍,讓大家能夠反復研讀,經常使用。
對人工智能的洞察與前瞻
回顧人工智能的發展歷史,每一個階段都有會因為一些技術突破使得領域的發展曲線升向新的高峰,取得巨大進展。近年來,人工智能領域的的一些新技術,或者新思路,比如深度強化學習、圖神經網絡、通用人工智能、神經符號處理等引起了業界的矚目,大家對這些新詞匯或新技術寄予厚望,希望能讓這個領域發生更多的奇跡。然而,每每被冠以“突破性”的技術,產生的影響果真的有這么大嗎?李航憑借 多年的研究經驗,給出了他的看法。
1、強化學習比監督學習更需要數據
李航曾表示,構建一個復雜的智能系統,原理上需要從“身體“入手,讓智能系統在與環境的互動中進行學習,而強化學習是實現這一目標的有效手段。深度強化學習應用到真實環境中有什么樣的優勢?深度強化學習在智能系統的學習過程中會起到什么樣的作用?
深度強化學習是把深度學習和強化學習結合起來,用深度學習學習強化學習模型,所以深度強化學習本質上還是強化學習。
李航表示,當智能系統學習做一些相對簡單任務時,可以使用監督學習,監督學習技術已經比較成熟和實用,但代價是要用很多標注數據。相比,強化學習可以適用于讓智能系統學習做更加復雜的任務。所以,從這種意義上來說,強化學習未來很有前景。
強化學習未來發展前景廣大,但當前卻面臨著一個巨大的挑戰,即強化學習從某種意義上比監督學習更需要大數據,數據成為當前強化學習發展的最大瓶頸。可以想象,未來5G、物聯網等技術的發展會帶來更多的數據,可能強化學習之后會獲得更大的發展。所以,強化學習是大家都很看好的一個方向。
2、機器學習做不到和人一樣觸類旁通
目前,統計學習是機器學習的主流,但是統計學習還做不到和人一樣的觸類旁通,自學知識,達到人的學習能力。統計學習在機器學習中起到什么作用?機器如何才能獲得人的學習能力?
對于機器學習和深度學習目前取得的一些成果,李航認為應理性看待,“這讓大家有一種錯覺,認為機器已經非常接近人,但實際上差得還很遠,這是因為人類學習和機器學習具有完全不同的機制。人天然具有三個最重要的學習能力,即記憶能力、泛化能力、聯想能力,在機器上實現同樣的學習能力還有很多困難。特別是現在人的學習的具體機理還不是很清楚。”
3、人的思考機制與機器本質上不同
那么,有沒有一種方法能夠讓機器做到和人一樣觸類旁通呢?李航認為還看不到這種可能,要想機器學習做到像人類一樣觸類旁通非常難,做到這一點還需要漫長的時間,至于是多久,他也無法給出準確的估計。
為什么機器無法和人一樣觸類旁通?這要從人的學習機制來看。一言以蔽之:人與機器的學習在本質上是完全不同的。
李航講到,人和動物天然具有記憶和泛化能力,這其實是在做概念的存儲和抽象。比如,老鼠吃了一次讓它中毒的食物,就能認識到這種食物不能吃,下次看到同樣的有毒食物就不會再去碰它。也就是說,只用了一個樣本就把有毒食物的特點,如顏色和氣味學到了(記憶了)。在這個過程中,老鼠做了抽象,因為食物的個體都不是完全一樣的,老鼠能區分哪些東西屬于同類。這些能力都是老鼠生來具有的,有很充分理由相信,人也具有同樣的能力。
此外,人還具有一項重要的能力,它在人的學習或概念形成、推理、語言使用中起到最根本的作用,那就是聯想。聯想是什么?李航用一個簡單的例子來做了說明,比如現在你看到一瓶水,你可能會聯想到你昨晚也喝過這種水,或者它的生產廠家等。人的經歷不同、場景不同,聯想的內容也不同。人時時刻刻都會做聯想,所以人的思考其實很大部分都是在找到相關的記憶。計算機做檢索的過程其實也是在聯想。我們產生新的概念、做創造發明、學習新知識等常常也是在做聯想。即記憶的機制就是聯想,發明創造的機制也是聯想。
所以,人的這種最基本的思考機制是記憶、泛化、聯想→學到知識。
但是,機器學習目前完全是基于統計,即依靠數據。李航表示,他的書之所以命名為《統計機器學習方法》,是為了強調理論和統計的重要性,因為在他的認知里,機器學習基本上約等于統計機器學習或統計學習,這也是目前業界的共識。未來也有可能出現其他的機器學習方法,但至少目前來說機器學習就是約等于統計學習。
統計機器學習最核心的想法,就是從大量數據中找到統計規律。即使是深度學習,本質上也是統計學習,用復雜的訓練神經網絡,表示找到的復雜的統計規律,去做一些看似智能,但本質上和人的智能機制不同的事情。
因此,機器學習與人類學習的本質完全不同,所以讓機器達到與人一樣觸類旁通非常難。
4、圖神經網絡重要,但其作用不應被夸大
近年,圖神經網絡(GNN)的研究火了起來。這是因為深度學習雖然進展迅猛,但是卻有著無法進行推理的缺陷,而基于圖的深度學習將端到端學習和歸納推理結合起來,使模型兼有表示能力和推理能力,被有些人視為未來智能技術突破的關鍵。
對此,李航表示,圖神經網絡是很重要的技術,但其作用不應該被夸大。
深度學習,從最基本的深度神經網絡 ,發展到CNN,之后又出現了幾次重大突破,如 GAN、自然語言處理領域的 BERT 等,圖神經網絡也屬于這樣的重大突破。從這個意義上來說,圖神經網絡,GNN是一個重要方向,也是一個大的突破口,很多人在做相關研究,包括字節跳動。
然而,李航認為,GNN 的特點在于通常以圖數據為輸入,利用圖上各個節點之間的關系,學習更加復雜的模式,做智能性的判斷和簡單推理。這種意義上它是一個強大的工具,目前在很多應用中已經得到了很好的結果,未來還有很大的發展前景,值得深入研究。但是實現智能的一些關鍵問題,僅靠GNN還不能解決。它是未來重要的研究方向,但并非唯一方向。
“人類研究人工智能這么多年,苦于不知道如何把自己的知識告訴計算機,以實現人類智能,GNN并沒有本質解決這個問題 ,單靠GNN實現人類智能,我認為不現實。”李航說道。
5、符號處理+神經處理、多模態讓機器更加智能
上面討論了一些機器學習領域很重要的技術,但是顯然每一項技術單獨來看都有局限性,無法單純依靠某種技術實現人的智能。那么問題來了,如何才能讓機器變得更加智能呢?我們至少需要一些思路。
李航認為,要實現人工智能,需要解決的一個重要問題是把符號處理與神經處理結合起來。
他首先解釋了大腦的思考機制。人類的智能有兩個層面,一個層面是人的大腦,是一個包含 1000 億神經元,1000萬億聯接的復雜神經網絡。這個網絡每個時刻都處于不同的狀態,信號在網絡中傳輸,網絡狀態發生變化。人工神經網絡一定程度上與人腦神經網絡相似,比如兩者都是在網絡結構中引入一些輸入,做各種變換,之后產生一些輸出。現在,深度學習中是用向量、矩陣或張量進行神經表示。但是,人工神經網絡比人腦簡單得多。
另外一個是意識層面,即人類做推理、理解語言、使用知識的層面,意識層面的東西大致可以用符號表示,對應著計算機的符號處理。但這方面的機制,我們并不十分清楚,腦科學和認知科學有一些假說。人腦中,意識層面的符號處理和腦層面(下意識層面)的神經處理是如何結合的還完全不清楚。
但是,看來要推進機器使用人類語言的能力,即自然語言處理能力,可能需要神經符號處理,就是把神經處理和符號處理兩者結合起來,這樣才能使機器更接近人。
另一個重要問題,多模態技術也是實現人工智能的關鍵技術。近年來也引起了大家廣泛關注。
李航對此表示認同,他講道,人的智能中的模態其實并沒有明確的劃分,人思考時大部分情況下都是在進行一種多模態“處理”,結合了視覺、聽覺、觸覺、味覺等各種模態。未來,相信隨著數據的增多,計算能力的增大,多模態技術將能夠做到更多,有望成為AI技術的一個突破口。
另一個重要問題是Hinton等所說的無監督學習,這里不在重復。
6、通用人工智能展望
實現通用人工智能,是人工智能領域的終極目標。李航在 2016 年的一次采訪中曾預測,通用人工智能可能要 500 年才能實現,但或許永遠都不可能實現。時隔三年,隨著人工智能領域的進一步發展,李航的觀點有改變嗎?
“我不太喜歡用強人工智能、弱人工智能、通用人工智能的說法,因為這幾個概念都沒有嚴格的定義,很多時候大家說的并不是同一個東西。但是AI領域會不斷發展,機器智能的水平會不斷提高,這一點是不容置疑的。當時,被記者要求一定要說個數字,就隨便說需要500年才能實現通用人工智能,其實沒有科學的依據。”李航說道。
所謂的通用人工智能還是很遙遠的。比如,機器很難具備常識和情感,即使是簡單的常識性推理對于機器來說也是一道很難跨越的門檻,更不用說具有情感的機器。而這些都是人類智能的一部分。
面向未來,李航預測,從功能主義的角度來說,今后有相當長一段時間,瞄著實現合理行動的機器、合理思考的機器,把符號處理和神經處理結合起來,加上無監督學習、多模態等技術,可以讓系統的智能程度上升好幾個臺階,但是它最核心的可能還是機器學習,未來 50年,我們仍在使用這些最基本的技術,看來這個概率最大。
從另外的思路來看,常識推理、因果推斷等也是一些重要的研究方向,希望它們能和機器學習結合起來。可以預見,合理行動、合理思考的機器會根據不同的場景需求,組合衍生出各種各樣的智能系統和智能工具。
7、未來若干年,很有可能AI發展將會慢一些,突破會少一些
當然,李航談論了他對于機器學習發展的看法。他說道,就像人的智能發育是一個漫長的過程一樣,機器智能的構建也需要漫長的積累。人雖然自出生的那一刻起就具備了基本的認知和感知的能力,但是后天成長中也需要漫長的學習過程,不斷積累才擁有了各種知識,具備了各種能力。
雖然李航認為機器學習的發展距離人的智能還有相當大的距離,但有幾件事情是可以預見的:機器最強大能力就是計算和存儲,過去 30 年,計算的速度、存儲的容量、通訊的速度都提升了 100 萬倍,未來 30 年、100年、500 年以后仍會飛速增長。如果我們能讓機器很好地利用大數據和大算力,進行自主學習,這在將來帶來革命性的變化。
“我的感受是人工智能研究其實需要長時間的積累,2012 年到 2018 年這段時間有很大的突破, 大家的期待特別高,以為今后一直會同樣高歌猛進。然而事實并不是這樣,大部分研究實際上都是需要不斷積累,緩慢進步,不斷發展的。包括深度學習大師 Yoshua Bengio 最近也在說,人工智能技術研究需要長期積累,我對他這句話的解讀是,人工智能的發展也是有高峰和低谷的,我們不會永遠處于高峰。未來若干年,概率最大的可能性是,人工智能相對前幾年發展會緩慢一些,新的突破會少一些,但是還是會不斷進步。未來還有更多有挑戰性的問題,需要大家不斷克服,持續積累,對于 AI,我們要有一個正確的期待。”
來源:DataWhale
評論
查看更多