隱藏的學(xué)霸之魂：Zero-Shot Learning如何打破“零起點”的封印？互聯(lián)網(wǎng)+
導(dǎo)讀
回顧一年來CV技術(shù)的產(chǎn)業(yè)化進(jìn)程，算得上是紅紅火火恍恍惚惚。
回顧一年來CV技術(shù)的產(chǎn)業(yè)化進(jìn)程，算得上是紅紅火火恍恍惚惚。
2018年還剩不到10天，回顧一下今年CV（Computer Vision，計算機(jī)視覺）領(lǐng)域的進(jìn)展，在技術(shù)上并沒有迎來什么革命性的新突破。
幾個頭部企業(yè)的業(yè)務(wù)重點，除了強(qiáng)化現(xiàn)有算法的精度，更多還是將精力投擲在商業(yè)布局上。
似乎每家公司都在為這個看得見的“賽點”爭分奪秒地發(fā)掘新應(yīng)用場景。
不過，還是有很多新技術(shù)的進(jìn)步值得我們專門用一篇文章來說一說，比如今天要講的Zero-Shot Learning。
畢竟，當(dāng)場景被開發(fā)到極限，大家就又回到了技術(shù)的起跑線。
什么是ZSL？
零樣本學(xué)習(xí)zero-shot learning，是最具挑戰(zhàn)的機(jī)器識別方法之一。2009年，Lampert 等人提出了Animals with Attributes數(shù)據(jù)集和經(jīng)典的基于屬性學(xué)習(xí)的算法，開始讓這一算法引起廣泛關(guān)注。
之所以如此重要，因為其迥異于傳統(tǒng)圖像識別任務(wù)的思考方式。
從原理上來說，ZSL就是讓計算機(jī)具備人類的推理能力，來識別出一個從未見過的新事物。
舉個例子，我們告訴一個從沒見過斑馬的小朋友：“斑馬是一種長得像馬，身上有黑白色條紋的動物”，他就可以很輕松地在動物園里找出來哪個是斑馬。
可是，在傳統(tǒng)的圖像識別算法中，要想讓機(jī)器認(rèn)出“斑馬”，往往需要給機(jī)器投喂足夠規(guī)模的“斑馬”樣本才有可能。而且，利用“斑馬”訓(xùn)練出來的分類器，就無法識別其他物種。
但是ZSL就可以做到，一次學(xué)習(xí)都沒有，只憑特征描述就識別出新事物，這無疑離人類智力又近了一步。
那么，這種“天秀”到底是怎么工作的？
簡單說的話，就是利用高維語義特征代替樣本的低維特征，使得訓(xùn)練出來的模型具有遷移性。
比如斑馬的高維語義就是“馬的外形，熊貓的顏色，老虎的斑紋”，盡管缺乏更多細(xì)節(jié)，但這些高位予以已經(jīng)足夠?qū)Α鞍唏R”進(jìn)行分類，從而讓機(jī)器成功預(yù)測出來。
這就解決了圖像識別長久以來的問題：如果一個事物從來沒有在現(xiàn)有數(shù)據(jù)集中出現(xiàn)過，機(jī)器應(yīng)該如何學(xué)習(xí)和識別它。
聽起來是不是很爽很智能的樣子，實際上也確實如此！
ZSL的“優(yōu)越感”來自哪里？
在CV領(lǐng)域的頂會CVPR 2018 會議中，一個關(guān)于使用鑒別性特征學(xué)習(xí)零樣本識別的論文，被認(rèn)為代表了該領(lǐng)域當(dāng)前的最佳水平。
之所以受到如此重視，主要源于近年來零樣本學(xué)習(xí)（ZSL）在目標(biāo)識別任務(wù)中的大顯身手。
由于ZSL所挑戰(zhàn)的現(xiàn)實情境前所未有地苛刻，使其具備了影響其他圖像識別效果的關(guān)鍵能力。
現(xiàn)有識別技術(shù)大多集中于監(jiān)督學(xué)習(xí)，所以需要不斷推出更大的數(shù)據(jù)集，谷歌曾介紹說他們在用300Million的3D圖片進(jìn)行訓(xùn)練。而且，每個領(lǐng)域還需要各自的數(shù)據(jù)集。
這種情況下，全部進(jìn)行數(shù)據(jù)標(biāo)注的工作量也變得很大，很多新生事物更是想標(biāo)注都無從談起。這樣在部署端的效率和成本就成了產(chǎn)業(yè)的“不可承受之重”。
那怎么辦呢？科研人員只好努力讓機(jī)器學(xué)會“花更少的錢，辦更多的事”。
以騰訊AI Lab的研究為例，其“Diverse Image Annotation”，就是充分利用標(biāo)簽之間的語義關(guān)系，用少量多樣性標(biāo)簽來表達(dá)盡可能多的圖像信息，實現(xiàn)自動標(biāo)注。
ZSL則更為極端，要在一個樣本都沒有的前提下“空手套白狼”，這種極限挑戰(zhàn)，就給技術(shù)界帶來了新的活力。
首先，ZSL降低現(xiàn)有算法對數(shù)據(jù)集的依賴和標(biāo)注的壓力，有利于提升機(jī)器視覺技術(shù)的親和力及部署效率；
另外，現(xiàn)在產(chǎn)業(yè)端對縮減算力需求的呼聲日漸高漲，ZSL清晰有效地指向了可行的解決方案；
更重要的是，ZSL解決的不僅僅是視覺問題，更與NLP的發(fā)展相輔相成。根據(jù)模糊高維的語義描述去進(jìn)行識別，對機(jī)器的要求不僅僅是簡單分類，還要理解特征一些人類的高級知識，比如一種藝術(shù)作品的風(fēng)格、一種特殊的情緒等。找到這種語義上的聯(lián)系，將機(jī)器視覺與NLP技術(shù)聯(lián)合在一起解決問題，ZSL激發(fā)的技術(shù)想象很是有趣。
都說“數(shù)據(jù)是AI的燃料”，那沒有燃料是不是就注定GG？ ZSL表示可以續(xù)命，就是這么得瑟！
從0到1：ZSL和OSL有何不同？
這時，想必很多關(guān)注技術(shù)趨勢的同學(xué)可能已經(jīng)發(fā)現(xiàn)了，零樣本學(xué)習(xí)與少樣本學(xué)習(xí)（OSL，One-Shot Learning）在最終的應(yīng)用成果上，似乎作用很相近啊。
比如說，都指向了高層次的認(rèn)知問題。只要給OSL一張“斑馬”的圖片，它就能很高效地將它從其他動物中鑒別出來。背后靠的也是從很少的標(biāo)簽中學(xué)習(xí)、分類和推理的能力。
在應(yīng)用端，因為都不依賴龐大的數(shù)據(jù)集，兩種模型都能幫助產(chǎn)業(yè)的AI識別實現(xiàn)降本增效。
按理說，既然零樣本是少樣本的子集，那么是不是可以直接套用ZSL的模型來解決OSL的問題呢？
其實是可以的。畢竟“從沒見過”與“見過一次”相比，“從0到1”的技術(shù)難度要求更高。
不過，二者并不能輕易地被替代或劃等號，各自的研究都很有意義。
最大的區(qū)別在于， ZSL挑戰(zhàn)的是在相似語義中完成知識遷移，而OSL需要解決的是語義補(bǔ)全的能力，即如何利用唯一的樣本學(xué)習(xí)到更多的特征。
在實際應(yīng)用中，關(guān)鍵能力的不同，賦予了它們不同的“必殺技”。
比草原廣闊：ZSL的應(yīng)用場景
那么，ZSL到底能干些什么呢？
前面我們說過，目前產(chǎn)業(yè)界應(yīng)用深度學(xué)習(xí)最大的痛點，無非是愛上一匹野馬 (泛化能力)，可是家里沒有草原 (高質(zhì)量數(shù)據(jù)集) 。也并沒有企業(yè)會為了幾匹野馬，就不計成本地承包所有草原。
而ZSL能夠提供的想象空間，就比“草原”大得多了：
1.圖像自動標(biāo)注、處理。人工標(biāo)注代價高、速度慢，一旦ZSL被應(yīng)用，其語義理解和遷移能力，借助知識圖譜的輔助（如屬性、文本描述等），把不同的視覺聯(lián)合在一起進(jìn)行系統(tǒng)觀察，可以自動完成數(shù)據(jù)的識別和標(biāo)注工作，而且結(jié)果的準(zhǔn)確性不低于人工。
2.未知或生僻語種翻譯。在電影《降臨》中，美國的語言學(xué)家通過艱難地特征推斷，完成了與外星人的溝通。未來，這件事可以由機(jī)器來代勞。比如說一些樣本很少甚至早已不可考的語言（比如烏伯克語），通過ZSL系統(tǒng)就可以自動完成翻譯過程，實現(xiàn)宇宙的love&peace。
3.新類別的圖像合成。ZSL的學(xué)習(xí)目標(biāo)是識別新事物，一些新類別的圖像合成，完全可以通過ZSL被創(chuàng)造出來。比如還原已經(jīng)滅絕的物種。也許未來你在《侏羅紀(jì)》系列中看到的恐龍，就是機(jī)器“畫”出來的。
4.視頻識別。目前，越來越多的數(shù)據(jù)是視覺與文本信號共同出現(xiàn)，比如綜合性視頻網(wǎng)站，視頻、音頻、字幕、彈幕、評論等多模態(tài)信息都有，想要挖掘它們之間的相關(guān)性，就依賴于ZSL的宏觀預(yù)測能力。
總而言之，讓機(jī)器能夠像人一樣憑借“只言片語”做出推理和判斷，是一個很有用的功能。
從入門到放棄： ZSL的問題依然頑固
既然這么牛，為什么ZSL一直不溫不火呢？至少沒有像其他深度學(xué)習(xí)算法一樣成為“群寵”。主要原因還是在于幾個“牛皮癬式”的頑疾：
一是ZSL的效果依賴于相似模態(tài)的信息。在訓(xùn)練時如果訓(xùn)練集和測試集的類別相差太大，比如一個里面全是動物，另一個里面全是家居，這時讓ZSL分析二者的映射關(guān)系就太困難了，就很容易出現(xiàn)屬性漂移的“強(qiáng)偏”問題，難以預(yù)測出正確的結(jié)果，導(dǎo)致ZSL的性能表現(xiàn)大打折扣。
二是缺乏足量的專業(yè)定義和描述。ZSL雖然不需要大量的圖像數(shù)據(jù)集，但需要進(jìn)行特征描述。這方面人工比機(jī)器分類效果更好。但目前還缺乏足夠的專業(yè)人員進(jìn)行協(xié)助，NLP自身的發(fā)展也尚不足以滿足ZSL的需要，使得整體進(jìn)程相對緩慢。
這些桎梏不解決，ZSL即便具備從零起點到學(xué)霸的潛力，也只能入寶山而空回，被不如它的算法搶走工作機(jī)會。
回顧一年來CV技術(shù)的產(chǎn)業(yè)化進(jìn)程，算得上是紅紅火火恍恍惚惚。
我們可以想象，未來一兩年，從個人智能終端到城市的眼睛，機(jī)器視覺將無處不在。
一面是應(yīng)用場景百花齊放異常火熱，一面像ZSL這樣的潛力股又處在相對停滯的狀態(tài)，核心問題都沒能取得突破性的進(jìn)展。
在新年這樣承前啟后的階段，或許是時候給ZSL許一個未來了。
幾個頭部企業(yè)的業(yè)務(wù)重點，除了強(qiáng)化現(xiàn)有算法的精度，更多還是將精力投擲在商業(yè)布局上。
似乎每家公司都在為這個看得見的“賽點”爭分奪秒地發(fā)掘新應(yīng)用場景。
不過，還是有很多新技術(shù)的進(jìn)步值得我們專門用一篇文章來說一說，比如今天要講的Zero-Shot Learning。
畢竟，當(dāng)場景被開發(fā)到極限，大家就又回到了技術(shù)的起跑線。
什么是ZSL？
零樣本學(xué)習(xí)zero-shot learning，是最具挑戰(zhàn)的機(jī)器識別方法之一。2009年，Lampert 等人提出了Animals with Attributes數(shù)據(jù)集和經(jīng)典的基于屬性學(xué)習(xí)的算法，開始讓這一算法引起廣泛關(guān)注。
之所以如此重要，因為其迥異于傳統(tǒng)圖像識別任務(wù)的思考方式。
從原理上來說，ZSL就是讓計算機(jī)具備人類的推理能力，來識別出一個從未見過的新事物。
舉個例子，我們告訴一個從沒見過斑馬的小朋友：“斑馬是一種長得像馬，身上有黑白色條紋的動物”，他就可以很輕松地在動物園里找出來哪個是斑馬。
可是，在傳統(tǒng)的圖像識別算法中，要想讓機(jī)器認(rèn)出“斑馬”，往往需要給機(jī)器投喂足夠規(guī)模的“斑馬”樣本才有可能。而且，利用“斑馬”訓(xùn)練出來的分類器，就無法識別其他物種。
但是ZSL就可以做到，一次學(xué)習(xí)都沒有，只憑特征描述就識別出新事物，這無疑離人類智力又近了一步。
那么，這種“天秀”到底是怎么工作的？
簡單說的話，就是利用高維語義特征代替樣本的低維特征，使得訓(xùn)練出來的模型具有遷移性。
比如斑馬的高維語義就是“馬的外形，熊貓的顏色，老虎的斑紋”，盡管缺乏更多細(xì)節(jié)，但這些高位予以已經(jīng)足夠?qū)Α鞍唏R”進(jìn)行分類，從而讓機(jī)器成功預(yù)測出來。
這就解決了圖像識別長久以來的問題：如果一個事物從來沒有在現(xiàn)有數(shù)據(jù)集中出現(xiàn)過，機(jī)器應(yīng)該如何學(xué)習(xí)和識別它。
聽起來是不是很爽很智能的樣子，實際上也確實如此！
ZSL的“優(yōu)越感”來自哪里？
在CV領(lǐng)域的頂會CVPR 2018 會議中，一個關(guān)于使用鑒別性特征學(xué)習(xí)零樣本識別的論文，被認(rèn)為代表了該領(lǐng)域當(dāng)前的最佳水平。
之所以受到如此重視，主要源于近年來零樣本學(xué)習(xí)（ZSL）在目標(biāo)識別任務(wù)中的大顯身手。
由于ZSL所挑戰(zhàn)的現(xiàn)實情境前所未有地苛刻，使其具備了影響其他圖像識別效果的關(guān)鍵能力。
現(xiàn)有識別技術(shù)大多集中于監(jiān)督學(xué)習(xí)，所以需要不斷推出更大的數(shù)據(jù)集，谷歌曾介紹說他們在用300Million的3D圖片進(jìn)行訓(xùn)練。而且，每個領(lǐng)域還需要各自的數(shù)據(jù)集。
這種情況下，全部進(jìn)行數(shù)據(jù)標(biāo)注的工作量也變得很大，很多新生事物更是想標(biāo)注都無從談起。這樣在部署端的效率和成本就成了產(chǎn)業(yè)的“不可承受之重”。
那怎么辦呢？科研人員只好努力讓機(jī)器學(xué)會“花更少的錢，辦更多的事”。
以騰訊AI Lab的研究為例，其“Diverse Image Annotation”，就是充分利用標(biāo)簽之間的語義關(guān)系，用少量多樣性標(biāo)簽來表達(dá)盡可能多的圖像信息，實現(xiàn)自動標(biāo)注。
ZSL則更為極端，要在一個樣本都沒有的前提下“空手套白狼”，這種極限挑戰(zhàn)，就給技術(shù)界帶來了新的活力。
首先，ZSL降低現(xiàn)有算法對數(shù)據(jù)集的依賴和標(biāo)注的壓力，有利于提升機(jī)器視覺技術(shù)的親和力及部署效率；
另外，現(xiàn)在產(chǎn)業(yè)端對縮減算力需求的呼聲日漸高漲，ZSL清晰有效地指向了可行的解決方案；
更重要的是，ZSL解決的不僅僅是視覺問題，更與NLP的發(fā)展相輔相成。根據(jù)模糊高維的語義描述去進(jìn)行識別，對機(jī)器的要求不僅僅是簡單分類，還要理解特征一些人類的高級知識，比如一種藝術(shù)作品的風(fēng)格、一種特殊的情緒等。找到這種語義上的聯(lián)系，將機(jī)器視覺與NLP技術(shù)聯(lián)合在一起解決問題，ZSL激發(fā)的技術(shù)想象很是有趣。
都說“數(shù)據(jù)是AI的燃料”，那沒有燃料是不是就注定GG？ ZSL表示可以續(xù)命，就是這么得瑟！
從0到1：ZSL和OSL有何不同？
這時，想必很多關(guān)注技術(shù)趨勢的同學(xué)可能已經(jīng)發(fā)現(xiàn)了，零樣本學(xué)習(xí)與少樣本學(xué)習(xí)（OSL，One-Shot Learning）在最終的應(yīng)用成果上，似乎作用很相近啊。
比如說，都指向了高層次的認(rèn)知問題。只要給OSL一張“斑馬”的圖片，它就能很高效地將它從其他動物中鑒別出來。背后靠的也是從很少的標(biāo)簽中學(xué)習(xí)、分類和推理的能力。
在應(yīng)用端，因為都不依賴龐大的數(shù)據(jù)集，兩種模型都能幫助產(chǎn)業(yè)的AI識別實現(xiàn)降本增效。
按理說，既然零樣本是少樣本的子集，那么是不是可以直接套用ZSL的模型來解決OSL的問題呢？
其實是可以的。畢竟“從沒見過”與“見過一次”相比，“從0到1”的技術(shù)難度要求更高。
不過，二者并不能輕易地被替代或劃等號，各自的研究都很有意義。
最大的區(qū)別在于， ZSL挑戰(zhàn)的是在相似語義中完成知識遷移，而OSL需要解決的是語義補(bǔ)全的能力，即如何利用唯一的樣本學(xué)習(xí)到更多的特征。
在實際應(yīng)用中，關(guān)鍵能力的不同，賦予了它們不同的“必殺技”。
比草原廣闊：ZSL的應(yīng)用場景
那么，ZSL到底能干些什么呢？
前面我們說過，目前產(chǎn)業(yè)界應(yīng)用深度學(xué)習(xí)最大的痛點，無非是愛上一匹野馬 (泛化能力)，可是家里沒有草原 (高質(zhì)量數(shù)據(jù)集) 。也并沒有企業(yè)會為了幾匹野馬，就不計成本地承包所有草原。
而ZSL能夠提供的想象空間，就比“草原”大得多了：
1.圖像自動標(biāo)注、處理。人工標(biāo)注代價高、速度慢，一旦ZSL被應(yīng)用，其語義理解和遷移能力，借助知識圖譜的輔助（如屬性、文本描述等），把不同的視覺聯(lián)合在一起進(jìn)行系統(tǒng)觀察，可以自動完成數(shù)據(jù)的識別和標(biāo)注工作，而且結(jié)果的準(zhǔn)確性不低于人工。
2.未知或生僻語種翻譯。在電影《降臨》中，美國的語言學(xué)家通過艱難地特征推斷，完成了與外星人的溝通。未來，這件事可以由機(jī)器來代勞。比如說一些樣本很少甚至早已不可考的語言（比如烏伯克語），通過ZSL系統(tǒng)就可以自動完成翻譯過程，實現(xiàn)宇宙的love&peace。
3.新類別的圖像合成。ZSL的學(xué)習(xí)目標(biāo)是識別新事物，一些新類別的圖像合成，完全可以通過ZSL被創(chuàng)造出來。比如還原已經(jīng)滅絕的物種。也許未來你在《侏羅紀(jì)》系列中看到的恐龍，就是機(jī)器“畫”出來的。
4.視頻識別。目前，越來越多的數(shù)據(jù)是視覺與文本信號共同出現(xiàn)，比如綜合性視頻網(wǎng)站，視頻、音頻、字幕、彈幕、評論等多模態(tài)信息都有，想要挖掘它們之間的相關(guān)性，就依賴于ZSL的宏觀預(yù)測能力。
總而言之，讓機(jī)器能夠像人一樣憑借“只言片語”做出推理和判斷，是一個很有用的功能。
從入門到放棄： ZSL的問題依然頑固
既然這么牛，為什么ZSL一直不溫不火呢？至少沒有像其他深度學(xué)習(xí)算法一樣成為“群寵”。主要原因還是在于幾個“牛皮癬式”的頑疾：
一是ZSL的效果依賴于相似模態(tài)的信息。在訓(xùn)練時如果訓(xùn)練集和測試集的類別相差太大，比如一個里面全是動物，另一個里面全是家居，這時讓ZSL分析二者的映射關(guān)系就太困難了，就很容易出現(xiàn)屬性漂移的“強(qiáng)偏”問題，難以預(yù)測出正確的結(jié)果，導(dǎo)致ZSL的性能表現(xiàn)大打折扣。
二是缺乏足量的專業(yè)定義和描述。ZSL雖然不需要大量的圖像數(shù)據(jù)集，但需要進(jìn)行特征描述。這方面人工比機(jī)器分類效果更好。但目前還缺乏足夠的專業(yè)人員進(jìn)行協(xié)助，NLP自身的發(fā)展也尚不足以滿足ZSL的需要，使得整體進(jìn)程相對緩慢。
這些桎梏不解決，ZSL即便具備從零起點到學(xué)霸的潛力，也只能入寶山而空回，被不如它的算法搶走工作機(jī)會。
回顧一年來CV技術(shù)的產(chǎn)業(yè)化進(jìn)程，算得上是紅紅火火恍恍惚惚。
我們可以想象，未來一兩年，從個人智能終端到城市的眼睛，機(jī)器視覺將無處不在。
一面是應(yīng)用場景百花齊放異常火熱，一面像ZSL這樣的潛力股又處在相對停滯的狀態(tài)，核心問題都沒能取得突破性的進(jìn)展。
在新年這樣承前啟后的階段，或許是時候給ZSL許一個未來了。
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
