近日,顏成鋼教授團(tuán)隊以杭電為第一單位的論文Dynamic Style Transferring and Content Preserving for Domain Generalization獲得國際會議EAI MOBIMEDIA最佳論文獎,該研究的合作單位還有中科院計算所、快手和浙江大華有限公司。論文第一作者是杭州電子科技大學(xué)“智能信息處理實驗室”(HDU IIPLab)的碩士研究生王超怡。
雖然,卷積神經(jīng)網(wǎng)絡(luò)在不同的計算機(jī)視覺任務(wù)中表現(xiàn)出了卓越的能力,但是他們并不能很好的應(yīng)對域偏移。近年來域適應(yīng)方法引起了計算機(jī)視覺界的廣泛關(guān)注。域適應(yīng)是一種在訓(xùn)練集和測試集不滿足獨立同分布條件下的機(jī)器學(xué)習(xí)技術(shù),域泛化則是域適應(yīng)的進(jìn)一步推廣。最近的研究表明,域轉(zhuǎn)移主要是由于圖像的風(fēng)格或紋理變化引起的,而不是圖片的內(nèi)容。受此啟發(fā),我們提出了動態(tài)風(fēng)格轉(zhuǎn)換來克服CNN的風(fēng)格偏見。具體來說,我們設(shè)計了一種知識注入注意機(jī)制,用于自適應(yīng)地學(xué)習(xí)風(fēng)格融合的權(quán)重,并將動態(tài)選擇圖像的風(fēng)格知識嵌入潛在空間。因此,風(fēng)格轉(zhuǎn)換的程度是可以控制的,我們可以保留風(fēng)格中潛在與內(nèi)容相關(guān)的瑣碎信息,在隨機(jī)化風(fēng)格時,可以有目的地保留一些包含內(nèi)容信息的特征。此外,論文還設(shè)置內(nèi)容保留模塊,該模塊與編碼器形成了對抗結(jié)構(gòu),以使編碼器提取的風(fēng)格信息更精確。為了平衡編碼器和輔助分類器之間的對抗關(guān)系,我們還引入了一致性損失來增強輔助分類器的能力,它不僅促進(jìn)編碼器和輔助分類器之間的對抗關(guān)系,也延長編碼器對內(nèi)容表示的學(xué)習(xí)階段,通過擴(kuò)展反向傳播過程間接提高編碼器的能力。
杭州電子科技大學(xué)“智能信息處理實驗室”(HDU IIPLab)主任為顏成鋼教授。實驗室現(xiàn)有在職教師16名,含3位國家級人才及4位省級人才,包括“長江學(xué)者獎勵計劃”特聘教授、“海外引才計劃”特聘教授、“海外引才計劃”青年學(xué)者、浙江省“錢江學(xué)者”特聘教授、浙江省杰出青年基金獲得者、浙江省“151人才工程”第一層次、浙江省高校中青年學(xué)科帶頭人重點資助等多名國家及省部級人才。現(xiàn)有碩博生87名,在職研究生畢業(yè)生多就職于阿里巴巴、騰訊、字節(jié)跳動、?低、華為、網(wǎng)易等國內(nèi)知名大公司。實驗室采用與海內(nèi)外知名高校、研究所(清華大學(xué)、北京大學(xué)、中科院、美國北卡羅來納大學(xué)教堂山分校、澳大利亞悉尼科技大學(xué)、京東AI研究院等等)聯(lián)合培養(yǎng)制,長期致力于智能信息處理方面的研究,主要研究方向包括:機(jī)器學(xué)習(xí)、模式識別、計算機(jī)視覺、計算機(jī)圖形學(xué)、醫(yī)學(xué)影像處理、生物信息學(xué)等。實驗室為學(xué)校交叉創(chuàng)新團(tuán)隊,擁有自由開放的學(xué)術(shù)氛圍和國際前沿的研究方向,可以在多個學(xué)院招生,包括但不限于自動化、計算機(jī)、電子、通信等學(xué)院。