近日，語(yǔ)言智能與文化計(jì)算2023級(jí)博士生張凱武在不完整多視圖聚類(lèi)領(lǐng)域上的最新研究成果《Deep Incomplete Multi-view Clustering via Attention-based Direct Contrastive Learning》被人工智能領(lǐng)域一區(qū)Top期刊Expert Systems with Applications（中科院1區(qū)Top期刊，JCR：Q1， 2023-2024最新影響因子：7.5）接收，該期刊是計(jì)算機(jī)科學(xué)和智能系統(tǒng)領(lǐng)域內(nèi)最具影響力的頂級(jí)期刊之一，主要報(bào)道前沿新興的計(jì)算機(jī)技術(shù)和專(zhuān)家智能系統(tǒng)技術(shù)。杜世強(qiáng)教授為通訊作者，博士生張凱武為論文第一作者，論文署名單位和通信作者單位均為西北民族大學(xué)。

在實(shí)際場(chǎng)景中，由于機(jī)器故障或傳感器問(wèn)題等因素，來(lái)源于多個(gè)數(shù)據(jù)源的多視圖數(shù)據(jù)可能會(huì)丟失某些視圖信息，從而導(dǎo)致不完整多視圖數(shù)據(jù)的出現(xiàn)。例如一條道路上的多個(gè)監(jiān)控設(shè)備會(huì)由于部分?jǐn)z像頭故障而丟失視頻信息。為了能夠有效解決多視圖數(shù)據(jù)不完整問(wèn)題，不完整多視圖聚類(lèi)(Incomplete Multi-View Clustering，IMVC)適時(shí)而出。

雖然現(xiàn)有的IMVC通過(guò)使用對(duì)比學(xué)習(xí)和填充策略來(lái)解決缺失數(shù)據(jù)已經(jīng)取得了重大進(jìn)展，但這些方法為防止出現(xiàn)潛在特征只能在較低維度的子空間中有效的維度塌縮現(xiàn)象，均選擇過(guò)度依賴(lài)額外的投影頭來(lái)解決上述問(wèn)題。另一方面，IMVC在同一特征空間中同時(shí)進(jìn)行一致性學(xué)習(xí)和重構(gòu)，嚴(yán)重誤導(dǎo)了共同語(yǔ)義的捕獲。因此IMVC面臨兩個(gè)主要挑戰(zhàn)：(1)如何在不增加模型參數(shù)量的情況下有效防止維度塌縮；(2)如何避免視圖私有信息的影響，有效利用不完整數(shù)據(jù)的一致性信息。

圖1：整體框架圖

針對(duì)上述問(wèn)題，杜世強(qiáng)教授團(tuán)隊(duì)提出了一種新穎的基于注意力機(jī)制和直接對(duì)比學(xué)習(xí)的深度不完整多視圖聚類(lèi)方法。該方法首次在不依賴(lài)投影頭的情況下，通過(guò)對(duì)比學(xué)習(xí)避免不完整多視圖聚類(lèi)中維度塌縮的影響。論文提出的方法如圖1所示，具體地，該模型首先采用具有自注意力機(jī)制的編碼器網(wǎng)絡(luò)來(lái)學(xué)習(xí)每個(gè)輸入向量的權(quán)重，從而更好地保留跨視圖的信息，排除限于特定子集的信息。其次，通過(guò)利用編碼器提取的特征子向量進(jìn)行一致性學(xué)習(xí)，模型直接優(yōu)化了潛在特征子空間，在不依賴(lài)投影頭的情況下避免了維度塌縮。同時(shí)，允許重構(gòu)損失和對(duì)比損失分別作用于學(xué)習(xí)到的特征向量及其子向量，靈活地解決了視圖私有信息的不一致性與公共語(yǔ)義的一致性之間的沖突。最后，該方法采用了一種潛在特征表示的預(yù)測(cè)機(jī)制來(lái)實(shí)現(xiàn)數(shù)據(jù)的可恢復(fù)性。

圖2：不完整數(shù)據(jù)恢復(fù)

為驗(yàn)證方法在實(shí)際應(yīng)用中的有效性，論文在多個(gè)廣泛使用的數(shù)據(jù)集上進(jìn)行聚類(lèi)、人體行為識(shí)別等任務(wù)。為證明該方法可以實(shí)現(xiàn)缺失視圖的恢復(fù)，論文在實(shí)驗(yàn)部分增加了缺失視圖恢復(fù)的可視化結(jié)果，進(jìn)一步說(shuō)明了此方法能夠有效降低缺失視圖對(duì)聚類(lèi)效果的影響。圖2和圖3分別展示了不完整數(shù)據(jù)的恢復(fù)結(jié)果和聚類(lèi)結(jié)果。

圖3：聚類(lèi)t-sne可視化結(jié)果

總體而言，該研究首次在不依賴(lài)投影頭的情況下通過(guò)對(duì)比學(xué)習(xí)處理聚類(lèi)中的維度塌縮現(xiàn)象。該框架利用結(jié)合自注意力機(jī)制的編碼器網(wǎng)絡(luò)對(duì)潛在特征及其子向量進(jìn)行重構(gòu)和一致性學(xué)習(xí)，以簡(jiǎn)化模型的方式防止維度塌縮，并確保潛在特征捕獲更多有用的信息。該研究有望為處理不完整數(shù)據(jù)和防止聚類(lèi)維度塌縮提供新的見(jiàn)解。

論文鏈接：

https://www.sciencedirect.com/science/article/abs/pii/S0957417424016129?via%3Dihub