摘要

本文由深蘭科學(xué)院撰寫(xiě)，文章將為大家細(xì)致講解一種有效的無(wú)監(jiān)督深度表示器(Mix2Vec)，該方法可將異構(gòu)數(shù)據(jù)映射到統(tǒng)一的低維向量空間，避免混合異構(gòu)數(shù)據(jù)相似度度量偏差問(wèn)題。同時(shí)，該方法基于深度異構(gòu)信息網(wǎng)絡(luò)，采用隨機(jī)混洗預(yù)測(cè)學(xué)習(xí)機(jī)制，并融合先驗(yàn)分布匹配和結(jié)構(gòu)信息最大化學(xué)習(xí)目標(biāo)，學(xué)習(xí)混合異構(gòu)的基于向量空間的通用表示，可以用于無(wú)監(jiān)督和有監(jiān)督的學(xué)習(xí)任務(wù)。

隨著機(jī)器學(xué)習(xí)的發(fā)展和廣泛應(yīng)用，(無(wú)監(jiān)督或有監(jiān)督)表示學(xué)習(xí)被應(yīng)用于處理復(fù)雜(高維、異構(gòu)等)特征數(shù)據(jù)。通過(guò)將復(fù)雜特征數(shù)據(jù)映射到統(tǒng)一空間，可以有效避免復(fù)雜數(shù)據(jù)中的差異性，并提供方便有效的數(shù)據(jù)統(tǒng)一處理(例如：距離度量)。

01問(wèn)題

混合異構(gòu)數(shù)據(jù)中的挑戰(zhàn)

現(xiàn)實(shí)生活中的大量數(shù)據(jù)都混合了數(shù)值型和類(lèi)別型屬性，這些數(shù)據(jù)往往表現(xiàn)出以下一些典型特征：(1)數(shù)據(jù)中一些屬性是靜態(tài)的，而另一些是動(dòng)態(tài)的;(2)某些屬性經(jīng)常存在缺失值，且不同數(shù)據(jù)的缺失值的稀疏程度不同;(3)數(shù)據(jù)中可能是異構(gòu)的，不同的屬性可能具有不同的分布和結(jié)構(gòu);(4)實(shí)際數(shù)據(jù)往往沒(méi)有足夠的可用標(biāo)記信息并且標(biāo)記此類(lèi)數(shù)據(jù)成本太高，或者標(biāo)簽信息(例如：路徑和規(guī)劃)很難用以模型訓(xùn)練。這些數(shù)據(jù)特征在企業(yè)、制造、商業(yè)和醫(yī)療保健等典型應(yīng)用的數(shù)據(jù)中很常見(jiàn)。圖1源自于構(gòu)造的數(shù)據(jù)，舉例展示了混合異構(gòu)數(shù)據(jù)中的上述特征。

圖1 現(xiàn)實(shí)生活中混合數(shù)據(jù)的特征：動(dòng)態(tài)性、稀疏性、異質(zhì)性

混合數(shù)據(jù)表示學(xué)習(xí)主要的挑戰(zhàn)是來(lái)自多個(gè)方面。首先，很難在一個(gè)表示模型中處理上述所有特征和學(xué)習(xí)目標(biāo)。因?yàn)樯鲜雒恳环N數(shù)據(jù)特征、每一個(gè)學(xué)習(xí)目標(biāo)在實(shí)際中都非常具有挑戰(zhàn)性，并且將他們組合在一起會(huì)使學(xué)習(xí)系統(tǒng)非常復(fù)雜。因此，現(xiàn)有方法要么將混合數(shù)據(jù)類(lèi)型轉(zhuǎn)換為一種類(lèi)型，要么對(duì)于每種數(shù)據(jù)類(lèi)型分別學(xué)習(xí)其向量表示，然后所學(xué)的各種類(lèi)型數(shù)據(jù)的表示合并作為混合數(shù)據(jù)的表示。

此外，混合數(shù)據(jù)可能是靜態(tài)的，也可能是動(dòng)態(tài)的，并且在結(jié)構(gòu)和分布上呈現(xiàn)出明顯的異質(zhì)性，表示學(xué)習(xí)在保留原始信息的同時(shí)捕獲這樣的異質(zhì)性是非常具有挑戰(zhàn)性?，F(xiàn)有方法通常側(cè)重于單獨(dú)的解決某一個(gè)方面，而不是在一個(gè)模型中同時(shí)解決上述這些問(wèn)題。然后，在沒(méi)有監(jiān)督信息的情況下，確定哪些信息應(yīng)考慮到表示中以及驗(yàn)證生成的表示是否有效則都具有一定挑戰(zhàn)性。

最后，數(shù)據(jù)本身的質(zhì)量(缺失值)以及其他包括稀疏性、屬性冗余和互補(bǔ)性在內(nèi)的其他問(wèn)題進(jìn)一步增加了完成上述表示學(xué)習(xí)任務(wù)的難度，而現(xiàn)有的研究往往只是處理上述問(wèn)題中的單個(gè)問(wèn)題。

02動(dòng)機(jī)

混合異構(gòu)數(shù)據(jù)表示學(xué)習(xí)的空缺

通過(guò)調(diào)研現(xiàn)階段表示學(xué)習(xí)的文獻(xiàn)資料，可知目前沒(méi)有一種表示學(xué)習(xí)方法可以同時(shí)解決上述的無(wú)監(jiān)督混合數(shù)據(jù)表示中挑戰(zhàn)。現(xiàn)有方法可以根據(jù)其學(xué)習(xí)目標(biāo)分為基于下游任務(wù)的方法，自我監(jiān)督的方法和基于重構(gòu)的方法：

1基于下游任務(wù)的方法是學(xué)習(xí)一種數(shù)據(jù)表示，以最大化在特定學(xué)習(xí)任務(wù)的學(xué)習(xí)目標(biāo)(例如，軟聚類(lèi))。此類(lèi)方法學(xué)習(xí)的表示是為提升特定模型的學(xué)習(xí)性能而定制的，但往往很難遷移到其他模型和任務(wù)上。

2自我監(jiān)督方法需要在數(shù)據(jù)中指定特定的關(guān)系(例如，相同上下文中的對(duì)象相似)以學(xué)習(xí)數(shù)據(jù)表示，并且用于表示學(xué)習(xí)的監(jiān)督信息是針對(duì)單個(gè)數(shù)據(jù)類(lèi)型、特定域(例如，自然語(yǔ)言處理)和假設(shè)(例如，時(shí)間一致性)，使得這些方法很難應(yīng)用于混合數(shù)據(jù)表示學(xué)習(xí)中。

3基于重構(gòu)的方法最大化了原始輸入及其對(duì)應(yīng)表示之間的相互信息性，以保留與原始輸入中足夠多的信息。然而，信息保存并不一定能夠保證表示質(zhì)量，而且現(xiàn)有的基于重建的方法集中于研究數(shù)值型數(shù)據(jù)(例如，圖像和視頻)，數(shù)值型數(shù)據(jù)中兩個(gè)值之間的距離有特定的語(yǔ)義含義(例如，圖像中的值的大小的表示更暗或更亮)來(lái)體現(xiàn)。對(duì)于基于重構(gòu)的方法來(lái)說(shuō)，很難重建混合數(shù)據(jù)，因?yàn)榛旌蠑?shù)據(jù)中可能存在各種語(yǔ)義含義，甚至有些沒(méi)有特定的語(yǔ)義含義。

03方法

混合異構(gòu)數(shù)據(jù)表示學(xué)習(xí)的目標(biāo)和機(jī)制

以下將介紹一種新的混合數(shù)據(jù)表示學(xué)習(xí)器Mix2Vec：嘗試解決上文中所提到的數(shù)據(jù)特點(diǎn)和學(xué)習(xí)挑戰(zhàn)，旨在通過(guò)構(gòu)建功能強(qiáng)大的混合數(shù)據(jù)表示器來(lái)學(xué)習(xí)多方面無(wú)監(jiān)督混合數(shù)據(jù)表示。該表示器具有多種機(jī)制來(lái)應(yīng)對(duì)上述數(shù)據(jù)特征和表示學(xué)習(xí)中的挑戰(zhàn)。

Mix2Vec采用以下三種機(jī)制來(lái)實(shí)現(xiàn)上述多方面目標(biāo)：

1采用隨機(jī)混洗預(yù)測(cè)對(duì)輸入數(shù)據(jù)進(jìn)行隨機(jī)的變換，并最大化原始數(shù)據(jù)的表示和經(jīng)過(guò)混洗后數(shù)據(jù)的表示之間的互信息性。

2采用估計(jì)分布匹配的方法來(lái)將原始輸入分布中的先驗(yàn)知識(shí)嵌入到學(xué)習(xí)的表示中。

3采用結(jié)構(gòu)信息增強(qiáng)的方法來(lái)使表示中的結(jié)構(gòu)信息量最大化。

這些機(jī)制將同時(shí)在深層神經(jīng)表示器Mix2Vec實(shí)現(xiàn)，如此一來(lái)，Mix2Vec可以有效地將具有上述各種特征的混合數(shù)據(jù)轉(zhuǎn)換為基于向量空間的表示形式。這種學(xué)習(xí)的表示形式是通用的，并且對(duì)于不同的學(xué)習(xí)任務(wù)是透明且可復(fù)用的。

圖2 Mix2Vec學(xué)習(xí)機(jī)制

給定混合數(shù)據(jù)的輸入，無(wú)監(jiān)督表示學(xué)習(xí)將學(xué)習(xí)一種映射函數(shù)，在無(wú)監(jiān)督的情況下以將混合輸入轉(zhuǎn)換為連續(xù)表示。假定X和Y分別為混合數(shù)據(jù)原始輸入空間和連續(xù)表示空間，無(wú)監(jiān)督學(xué)習(xí)的任務(wù)是學(xué)習(xí)一系列可微分參數(shù)方程。對(duì)于Mixe2Vec而言，給定來(lái)自原始輸入空間的n個(gè)樣本，即，需要學(xué)習(xí)一個(gè)編碼器來(lái)實(shí)現(xiàn)以下三個(gè)目標(biāo)：

01互信息最大化(Mutual Information Maximization)

最大化輸入及其表示之間的互信息，在Mix2Vec中通過(guò)隨機(jī)混洗預(yù)測(cè)(Random Shuffling Prediction，RSP)目標(biāo)機(jī)制來(lái)實(shí)現(xiàn);

02先驗(yàn)分布匹配(Prior Distribution Matching，PDM)

強(qiáng)制數(shù)據(jù)表示的分布匹配某一先驗(yàn)分布，使得學(xué)習(xí)的數(shù)據(jù)表示具有所需的特征;

03結(jié)構(gòu)信息量最大化(Structural Informativeness Maximization，SIM)

最大化表示中的結(jié)構(gòu)信息量，這是對(duì)上述目標(biāo)的補(bǔ)充，有利于從原始輸入中保留結(jié)構(gòu)信息。

圖2顯示了Mix2Vec表示學(xué)習(xí)的工作流程，其中展示了上述待實(shí)現(xiàn)的三個(gè)目標(biāo)以及為不同目標(biāo)實(shí)現(xiàn)的機(jī)制。對(duì)于目標(biāo)1，本工作中將原始輸入隨機(jī)混洗變成為新輸入，并且將原始輸入和對(duì)應(yīng)混洗后的輸入都編碼為其對(duì)應(yīng)的數(shù)據(jù)表示，而后通過(guò)解碼器從原始輸入和對(duì)應(yīng)的混洗后輸入的數(shù)據(jù)表示中預(yù)測(cè)混洗位置(屬性);對(duì)于目標(biāo)2，基于從輸入中獲得的先驗(yàn)知識(shí)，將從原始輸入編碼的數(shù)據(jù)表示的分布與先驗(yàn)分布相匹配;最后，對(duì)于目標(biāo)3，最大化學(xué)習(xí)到數(shù)據(jù)表示的結(jié)構(gòu)信息。將上述三個(gè)目標(biāo)組合起來(lái)構(gòu)成Mix2Vec整體的學(xué)習(xí)目標(biāo)和機(jī)制，共同指導(dǎo)混合異構(gòu)數(shù)據(jù)的表示學(xué)習(xí)。

04驗(yàn)證

Mix2Vec學(xué)習(xí)效果

通過(guò)可視化包括Mix2Vec及其變體(不同的超參數(shù))在內(nèi)的所有表示器所學(xué)到的數(shù)據(jù)表示，以顯示學(xué)習(xí)到的數(shù)據(jù)表示的可分離性。為了將數(shù)據(jù)集所學(xué)到的表示可視化為二維空間，實(shí)驗(yàn)中引入了t分布的隨機(jī)鄰居嵌入可視化法方法，將高維表示向量轉(zhuǎn)換為二維表示向量。

實(shí)驗(yàn)中，為每個(gè)數(shù)據(jù)集隨機(jī)抽取600個(gè)這些二維向量，并在圖3中展示它們的位置，圖3展示在Churn上的可視化效果。

從圖中結(jié)果可知，Mix2Vec可以生成包含更多信息的高度結(jié)構(gòu)化表示，從單個(gè)目標(biāo)的可視化效果來(lái)看，RSP擅長(zhǎng)捕獲單個(gè)信息，PDM提供先驗(yàn)匹配，SIM突出結(jié)構(gòu)表示，符合Mix2Vec在設(shè)置之初融合三個(gè)目標(biāo)的原因。

圖3 Mix2Vec在Churn上數(shù)據(jù)表示的結(jié)果可視化

05結(jié)論

在現(xiàn)實(shí)世界中，以無(wú)監(jiān)督的方式進(jìn)行混合異構(gòu)數(shù)據(jù)表示是非?？量痰奶魬?zhàn)。該工作中針對(duì)具有稀疏性、動(dòng)態(tài)性和異構(gòu)性等復(fù)雜特征的混合數(shù)據(jù)，引入了一種有效的無(wú)監(jiān)督表示方法Mix2Vec。Mix2Vec通過(guò)預(yù)測(cè)輸入的隨機(jī)混洗操作，將數(shù)據(jù)表示的分布與輸入分布匹配，并增強(qiáng)數(shù)據(jù)表示中的結(jié)構(gòu)信息。Mix2Vec可以生成復(fù)雜的混合數(shù)據(jù)的通用且可重復(fù)使用的數(shù)據(jù)表示，以滿(mǎn)足多個(gè)方面的目標(biāo)，包括解決上述混合數(shù)據(jù)的特征、支持信息表示質(zhì)量以及實(shí)現(xiàn)不同學(xué)習(xí)任務(wù)的更好學(xué)習(xí)性能。

下一期將介紹Mix2Vec每個(gè)機(jī)制具體實(shí)現(xiàn)方法，以及Mix2Vec在不同下游任務(wù)上的性能。

請(qǐng)繼續(xù)關(guān)注此頻道以獲取最新的研究成果!

原文標(biāo)題：技術(shù)沖擊波| 異構(gòu)數(shù)據(jù)的無(wú)監(jiān)督表示學(xué)習(xí)(一)

文章出處：【微信公眾號(hào)：DeepBlue深蘭科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅