訂閱
糾錯
加入自媒體

中科大&微軟提出挑圖神器: GIQA,一鍵挑出高質量圖像!

2020-08-04 09:36
將門創投
關注

在做生成模型時,用一個生成網絡生成了一批圖,為了挑選幾張最好的做demo,可能要花費大量的時間精力。為了解決該問題,中國科學技術大學在讀博士古紓旸等人提出了一個全新的研究方向:生成圖片質量評估(GIQA)。通過對單張生成圖片質量的打分,我們可以“一鍵”挑出高質量的圖。

本文首次提出對生成模型生成圖片的質量進行定量,客觀地衡量這一新的研究課題,并提出了幾種解決方案和一個數據集去衡量這些方案。通過豐富的實驗證明了這個課題有了寬廣的應用。

這些年來,深度生成模型取得了巨大的進展,誕生了很多有趣的應用,然而,并非所有生成的結果都很完美。如下圖所示,圖中四個角上的圖片均為StyleGAN在一只貓的數據集上生成結果。在這些圖片中,既有很多高質量的貓(右下),也有很多圖質量很差(完全看不出來是貓,左下)。

以往大家為了評估哪張圖生成的好,往往都是要靠人來判斷,這需要花費大量人力成本。在實際應用中,由于對于生成圖片的最差質量缺少把控,很多產品遭受到了各種質疑。基于此,我們提出了生成圖像質量評估(GIQA)這一研究方向,并希望用評估算法對生成圖片的質量進行自動的打分。為了實現這個目的,我們從基于學習的和基于數據的兩個角度提出了三種解決方法,利用這些方法,我們能夠實現對生成圖片的質量進行打分,同時實現很多有趣的應用。上圖中展示了我們對一個模型的生成圖片進行打分的分布結果,在右下、右上、左上、左下中我們分別展示了模型評價的從高質量到低質量的生成圖片,可以觀察到我們算法評價的質量基本上和人的評價是一致的。

下面將介紹我們是怎么實現用算法進行生成圖片質量評價的。

基于學習的GIQA

我們發現,在訓練GAN的時候,生成圖片的質量會隨著迭代次數的增加而變好。一個簡單的想法是用迭代次數當質量的“偽標簽”,通過監督式的學習,來學一個打分器,對生成圖片的質量進行打分。然而,用迭代次數當質量并不精確,我們通過多個二分類器(Multiple binary classifiers)回歸標簽來平滑去噪,通過平均這些分類器的分數,可以極大的增強魯棒性和泛化能力。我們稱之為MBC-GIQA。

數據驅動GIQA

我們重新思考質量評估這個問題,發現“質量”很難定義好。生成模型希望能生成服從已有的真實數據分布(real distribution)的圖片,因此,我們認為“質量”表征的是一張生成圖片和真實數據分布的接近程度。通俗的說,就是一張生成圖片有多大可能性來自于真實分布。這個概率越大,表示質量越高。因此,另一個直觀的想法是對真實分布直接建模。我們根據建模是參數化模型還是非參數化模型分成兩部分。

參數化模型:GMM-GIQA

我們將用高斯混合模型(GMM)來擬合真實數據分布在特征層面的特征。對于一張待測的圖片I,我們先提取他特征x,這個特征x在真實數據分布中出現的概率就表示了該圖的質量。

1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

电竞投注竞彩app