來源微信公眾號：曠視MEGVII

　　當地時間6月16日，一年一度的“計算機視覺與模式識別會議”（Conference on Computer Vision and Pattern Recognition 2019，CVPR 2019）在美國長灘拉開帷幕。作為計算機視覺領域的三大頂會之一，CVPR 2019 吸引全球超過9200位頂尖專家、學者以及產業界人士，共同推進計算機視覺技術的發展與落地。值得一提的是，在本次大會的 NTIRE 2019 挑戰賽上，曠視研究院力壓群雄，一路過關斬將，最終奪得了 NTIRE 2019 真實圖像降噪比賽 “Raw-RGB” 組的世界冠軍。

　　NTIRE（New Trends in Image Restoration and Enhancement）挑戰賽致力于恢復與增強圖像質量，到目前為止，已連續舉辦了3年。今年，NTIRE 挑戰賽下設11項比賽，就曠視研究院參賽的“真實圖像降噪（Real Image Denosing Challenge）”而言，全球共有216位選手、12支隊伍參加。

　　圖像降噪一直是計算機視覺中相當重要且研究甚多的領域，其首要的目標是去除或糾正圖像上的噪聲信息，這既能滿足美觀，同時也有助于基于這些圖像開展進一步的視覺研究。一直以來，研究者在該問題上的工作主要依賴合成的噪聲圖像。據主辦方稱，此次真實圖像降噪比賽的一大目的即在真實而非合成的圖像上評估圖像降噪器。

　　NTIRE 2019 真實圖像降噪比賽基于最近新提出的智能手機圖像降噪數據集（Smartphone Image Denoising Dataset， SIDD），它由很多真實的噪聲圖像及其相應的 ground truth 組成，且每幅圖像都有以原始傳感器數據（raw）和標準 RBG（sRGB）格式存儲的兩個版本。因此，該項比賽分為了兩項子賽，分別針對 raw 與 sRGB 圖像進行去噪。曠視研究院參戰前者，一舉奪冠。

　　NTIRE 主辦方 Radu Timofte 與曠視研究院奪冠團隊部分成員（左起）王玨、黃海斌，巫奇豪

　　解密冠軍算法

　　圖像降噪一直是曠視研究院“手機攝影超畫質”的技術儲備項目，自第一版原型誕生以后，就在不斷迭代。其中，針對原始傳感器數據（raw）的圖像降噪更是整個項目的基礎技術。

　　就學術界來看，對圖像降噪的關注點一直以 RGB 圖像為主，對 raw 圖（尤其是手機上）少有關注。人們不了解如何對圖像進行前處理、后處理，也不了解在降噪過程中的具體注意事項，導致往往無法發揮數據百分百的力量。基于上述背景，曠視研究院希望借此機會分享在 raw 圖像降噪上的心得，同時驗證團隊實力，進行進一步鍛煉。

　　這次比賽中，曠視研究院提出了針對 raw 圖像的基于 U-Net 框架的“拜爾陣列歸一化與保列增廣”方法。盡管不同輸入圖像間的數據格式存在差異，但是為保持網絡輸入一致性，團隊精心設計了一種數據預處理方法，使得相同的網絡工作應用到具有不同拜耳模式的輸入上，從而在保證性能的前提下用更大的圖像集合訓練網絡。

　　“拜爾陣列歸一化與保列增廣”方法圖示

　　此外，團隊還提出了適用于 raw 圖像的數據增廣方法。這些優勢可以幫助網絡獲得更好的泛化能力（且沒有額外的運行時）。曠視研究員還發現了主辦方提供的第一版數據集里驗證集的錯誤，經分析，這很可能是由于人們對 raw 圖處理的知識相對不足所造成的。

　　由上述可知，學界對 raw 圖展開的圖像降噪研究還處于剛剛起步階段，因此，這個小插曲從某種層面也說明了對 raw 圖像降噪研究的重要意義。對于錯誤的指出，主辦方及時進行了更正，并向曠視研究院參賽團隊發來了感謝信。

　　打造夜拍超畫質神器

　　本次冠軍算法已成功落地于 OPPO Reno 10 倍變焦版。OPPO Reno 10 倍變焦版搭載了基于曠視 MEGVII 超畫質技術研發的“超清夜景 2.0”功能，能夠為用戶提供非同凡響的夜拍體驗。這也是曠視超畫質技術首次運用在大規模量產機型上。

　　需要強調的是，依托在本文提到的圖像降噪算法，曠視超畫質技術在智能降噪的同時，能夠更好地保留畫面質感，大幅度優化拍攝和影像處理的時間，顯著提升用戶在夜晚和低光照環境下的拍攝體驗。

　　復合多幀降噪和 HDR 技術作為曠視超畫質技術的其中一項核心功能，能夠提升動態范圍，有效提高手機夜間拍照的成功幾率，并讓相機具備優秀的抗鬼影能力。

　　多幀降噪是指相機連拍多張照片合成一張照片，可減少高 ISO 感光度帶來的噪點，使畫質更純凈。如果用傳統的多幀降噪技術，在夜間或暗光環境下拍攝運動物體，如街上的行人或者車流時，成像過程中就可能會形成長長的拖影，也就是攝影愛好者俗稱的“鬼影”。

　　右圖為曠視超畫質技術拍攝的樣片，可以看出“鬼影”現象較左圖有大幅降低

　　曠視超畫質技術則把整個拍照曝光時間控制在300毫秒左右，算法處理時間則控制在1秒左右，也就意味著用戶幾乎能在按下快門的同時，看到自己所拍攝的超美夜景照，實現所見即所得。曝光時間越短，拍出清晰照片的幾率也就越高，因此曠視超畫質技術特殊的曝光策略，也讓“鬼影”出現的幾率大為降低。

　　右圖為曠視超畫質技術拍攝的樣片，夜拍效果的亮度和細節明顯增加

　　在夜景模式下，傳統的多幀降噪帶來的細節損失難以避免。而在同樣硬件配置的情況下，曠視超畫質技術則不會損失細節，甚至在有些場景下還會對細節進行增強。尤其是在夜景光源處理方面，曠視超畫質技術用不同的曝光策略和曝光組合，能夠有效提升動態范圍，取得較好的高光壓制效果。

　　上方圖像為曠視超畫質技術拍攝的樣片，高光壓制效果較上圖更為自然

　　后記

　　不以技術驅動產品，而以價值選擇技術。秉承“以非凡科技，為客戶和社會持續創造最大價值”的企業使命，和“構建驅動百億臺智能設備的物聯網生態系統”的宏偉愿景，曠視正在圍繞核心 AI 技術能力，連接更多的 IoT 設備，與生態伙伴一起服務于數字化建設，用軟硬結合的解決方案為客戶提供閉環的商業價值，成為行業智能物聯方案專家。

　　憑借強大的軟硬件結合能力，曠視目前已在城市大腦、供應鏈大腦和個人設備大腦三個核心 AIoT 場景深度布局。作為技術源動力，曠視研究院不斷從底層推動著公司前進的車輪。在與行業龍頭力量的聯合下，曠視正在推進尖端技術方案的垂直落地，為整個產業結構調整及商業變革激活引擎，積聚力量。

免責聲明：自媒體綜合提供的內容均源自自媒體，版權歸原作者所有，轉載請聯系原作者并獲許可。文章觀點僅代表作者本人，不代表新浪立場。若內容涉及投資建議，僅供參考勿作為投資依據。投資有風險，入市需謹慎。

責任編輯：馬婕