圖像超分辨講解

圖像超分辨是底層視覺若干任務中的其中一種，在底層拍照和圖像顯示方面有廣泛的應用，我將從三個方面進行講解，1.什麼是圖像超分辨，2.圖像超分辨的要求，3.圖像超分辨的一些傳統算法。

圖像超分辨的目的是從一張低分辨率圖像構建出其對應的高分辨率圖像，它在很多領域內都有廣泛的應用，一個應用場景是用於安防監控，我們需要對一個區域進行放大，來看清楚裏面有哪些事物，發生了什麼，比如説，我們可以放大車牌來查看具體是那一輛車違反了交通規則，從而對那輛車的司機開出罰單；

再有我們可以利用圖像超分辨技術來實現老電影或遊戲的重製，提升其分辨率，從而提升我們觀看電影或打遊戲時的體驗。

圖像超分辨還可以用於醫學圖像，通過放大醫學影響某一個區域的組織，來幫助醫生進行更好的診斷。

對於圖像超分辨，通常有兩個要求：一個是輸出的圖像要具有足夠多的細節，看起來更像是一張高質量的真實圖片；另外一個要求是保持其內容與輸入的低質量的圖片內容一致，不能進行更改，任何一條不被滿足，都不能稱作是圖像超分辨，比如説當圖片尺寸變大，但圖像並沒有升高的時候，或者當圖像的尺寸增大，並且分辨率也有所提升，但是所對應的內容發生改變時，都不能稱為圖像超分辨。

接下來我要介紹一些傳統的超分辨的方法，最簡單也是最常用的是基於插值的方法。比如對於一幅圖像，當我們想把它超分兩倍時，我們要對這些沒有值的位置進行估計，使得填充上新的元素後，整張圖像看起來比較平滑。

常用的插值方法包括最近鄰方法、雙線性插值法和雙三次插值法，最近鄰插值方法就是把最近的鄰居的值賦給新的元素，一般情況下它的效果不是很平滑；雙線性插值方法是考慮一個2*2的鄰域，將新元素的值可以計算為其鄰域內的已有元素值的加權平均，其中的權重是根據新元素及各個已知元素的空間距離來計算的；雙三次插值也是類似的，只不過這個時候考慮的是4*4的鄰域，權重的計算方法也更加複雜。但是基於插值的方法有一個缺點，就是很多圖像在邊緣出本身就具有不連續性，因此這種方法得到的結果看起來會顯得稍微模糊一些。

另外一種更有效的方法是基於字典的方法：

首先是一個基於外部字典的方法，我們在訓練時要收集大量的有代表性的成對的高質量和低質量的圖像塊，然後對於一個待超分的具體塊，我們首先在集合中找到和這個輸入圖像相似的圖像塊，用它們相對應的高分辨率塊來代替，再進行加權平均，就可以得到低質量圖像塊的高質量版本。這種方法可以得到較好的結果，但是當集合中沒有足夠多的數據時，它的表現就會受到限制。

這是基於內部字典的方法，它是基於非線性圖形上的局部幾何相似性，它總是為圖像中某一個塊在其他位置尋找類似的塊，，再對其進行加權後，就可以很大程度的去除噪聲，並且可以對原始不含噪聲的部分進行增強。，這種方法不需要一個很大的數據集，而且速度更快，表現也更好，但是當圖像中較少出現一些重複的圖像塊時，效果就會變得比較差。