疫情之下，口罩識別有多難，問問你的iPhone用戶朋友就知道了。

在“刷臉時代”，戴口罩的人臉識別已然成為一個大問題。

傳統的人臉識別算法，已經無法hold住這種大面積遮擋情況，主要難點有三：

一張口罩“封印”半張臉，直接丟失大量臉部特征；

短期內無法收集大量戴口罩人臉圖像，算法訓練難度大；

人臉識別系統包含檢測、跟蹤、識別等多個模塊，對它們都會造成影響。

好消息是，AI工程師們逢山開路遇水搭橋，現在——戴口罩人臉識別——這座橋，已經搭好了，而且已經開放了。

來自百度視覺算法團隊，技術方面自然也有保障。

不過，知其然最好還要知其所以然。如此模型，百度視覺算法團隊是如何完成的呢？

接下來我們一一解密。

戴口罩人臉識別之難：如何快準狠

“三座大山”怎么翻？

首先是第一個難題，丟失了大量臉部特征，如何進行檢測。

在人臉識別的過程中，會提取面部大量的特征點，而這些特征點的分布并不都是均勻的。

而且每個區域特征點所包含的信息量(用于身份認證)不同，例如，眼部區域就相比其他位置包含了更多的身份信息。

百度視覺就敏銳地觀察到了這一點，找到了翻過這座大山的突破口。

他們通過采用基于空間位置的注意力機制特征學習，讓算法更加關注對眼部區域的特征學習。

△基于空間位置的注意力機制特征學習

這樣一來，就能將因為佩戴口罩、帽子等遮擋，所帶來的信息丟失降到最低，也就能充分獲取戴口罩人臉的身份信息。

△特征可視化結果

算法有了，但數據不夠用來訓練，又該怎么辦呢？

一個傳統的辦法，就是在現有的人臉圖像上“貼”上口罩。

但這樣處理后的實驗效果并不明顯，原因是在真實場景中，人臉姿態會有變化，并且不同場景采集的圖像存在一定的差異性。

針對這個問題，百度視覺采用了基于人臉關鍵點的3D圖像融合技術。

這樣處理后，不僅解決了人臉姿態變化帶來的口罩形變和遮擋問題，還生成了更加自然、真實的照片。

△合成口罩圖片

通過收集市面上各種顏色、大小和樣式的口罩圖片，與之前積累的未佩戴口罩人臉圖片進行融合，快速合成了各種場景、海量真實的戴口罩訓練照片。

最后一座大山，人臉識別系統各模塊(環節)之間的問題。

百度視覺對此做了一系列的優化。例如：

檢測算法方面，采用了百度最新的PyramidBox-lite檢測算法，并加入超過10萬張口罩人臉數據訓練，在準確率不變的情況下，召回率提升了30%，佩戴口罩的人臉檢測準確率超99%以上。

口罩分類算法方面，基于人臉關鍵點網絡，抽取了具有豐富面部語義信息的人臉特征表示，并基于該特征進行口罩遮擋判斷，還通過PaddleSlim進行模型壓縮，大小縮小了3倍多。

問題解決了，性能效果又如何？

優化了識別效果之后，在佩戴口罩情況下人臉識別，準確率出奇的高，速度出奇的快！

但單從理論上解決難題是不夠的，應用到急需的場景中才是關鍵。

其實，這項已經投入到了現實場景，在百度園區，員工上班戴著口罩就可以刷臉“入場”，解決了檢測“戴口罩的是誰”的問題。

更早的，針對密集人群戴口罩的檢測問題，百度與北京地鐵展開了合作，連夜集結專項項目組，3天完成初版部署，7天快速迭代上線，解決了檢測密集人群“是否戴口罩”的問題。

嗯，看來是可以愉快的戴口罩上班了！

實力的背后是技術

或許很多人會感到驚訝，百度怎么能夠在如此短時間內，解決了難題，還做到了落地？

其實，這是必然的結果。

百度視覺早已在領域中深耕多年，技術實力不容小覷。

為了達到業內SOTA水平，百度視覺技術部在人臉檢測問題上產出了一系列的研究，從多個角度進行優化。

上圖便是人臉檢測器設計的幾個優化思路，包括特征融合、上下文信息、錨點設計、額外監督、數據擴充、網絡結構等。黃色標注部分為百度視覺發表的論文。

所提出的BOX系列模型，在業界處于領先地位，例如：

DenseBox，第一個anchor free且可以進行端到端訓練的物體檢測器。

PyramidBox，引入基于anchor的上下文輔助方法，用于半監督學習人臉上下文特征。

DAFBox，基于注意力指引的語義增強特征融合框架來學習各個尺度的具有豐富語義特征金字塔。

BFBox，第一篇基于神經網絡架構搜索的人臉檢測方法，支持同時搜索適合人臉檢測的特征提取器和特征金字塔。

還有像HAMBox，可在線挖掘高質量錨點的高性能框架，2019年在ICCV WIDER Face and Pedestrian Challenge上 ，以mAP值57.13%的成績奪得人臉檢測的冠軍，遠超上一年冠軍55.82%的成績。

△紅色框是PyramidBox的檢測效果，可以看出PyramidBox對于姿態、模糊、遮擋、尺度等條件具有極強的魯棒性。

研究成果方面，近期即將召開的計算機視覺頂級學術會議CVPR 2020在近日公布了收錄的論文，錄取率創下新低，相比去年下降3%，僅有22%，百度仍有高達22篇論文入選，其中人臉方向重要的論文包括：

HAMBox：Delving into Online High-quality Anchors Mining for Detecting Outer Faces

BFBox：Searching Face-appropriate Backbone and Feature Pyramid Network for Face Detector

FaceScape：a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

Hierarchical Pyramid Diverse Attention Network for Face Recognition

此次疫情之下，人臉識別背后的核心技術問題，包括復雜場景多人臉檢測、多人臉跟蹤定位、實時模型預測、戴口罩人臉識別。

而這些問題，從上述的研究成果來看，百度視覺都或多或少的有所涉及。

如此來看，也就不難理解，為什么百度能夠如此高效解決高難度問題。

百度在此次疫情中的貢獻，也真正的彰顯了那句“能力越大，責任越大”，也體現了出了在計算機視覺領域中領軍者的地位。

技術的背后，還有一個百度飛槳

無論是研究還是應用，背后都需要一個強有力的平臺支撐。

而此次百度在人臉識別上的成功，離不開技術硬實力，更離不開技術背后的百度飛槳(PaddlePaddle)。

飛槳是百度自研，目前國內唯一開源開放且功能完備的產業級深度學習平臺，是各類型AI模型應用開發的基礎。

例如在解決戴口罩人臉識別問題時，就采用了飛槳的大規模分類庫PLSC，快速對數百萬ID的訓練數據進行訓練，還采用了飛槳模型壓縮庫PaddleSlim進行模型搜索與壓縮，產出高性能的人臉識別模型，使用飛槳PaddleLite快速進行云端和移動端部署。

在此前北京地鐵AI口罩檢測方案中，百度飛槳利用自身儲備的業界領先工具集，快速完成了多維度視頻內容解析、視頻語義理解、分類標簽，及口罩識別等全套模型及部署，充分展現出飛槳源于產業實踐、并致力于與產業深入融合的特點。

而百度也將基于口罩相關的能力做到了落地：

與科升(廣東)智能科技有限公司達成合作，對城中村門禁系統進行改造，租戶利用前期入住時登記好的人臉開鎖進門，同時該人臉數據庫與公安大數據后臺對接(直接對接公安數據庫)，對可疑人員及網上追逃人員進行預警。

十?？萍紝俣却竽X發布的口罩檢測與戴口罩人臉識別技術，更新至校園安全管理系統中，為學生復學做好萬全準備。

與無錫華捷電子信息技術有限公司達成合作，針對疫情全新開發的產品，無需摘下口罩，就可以精準識別人臉，實現乘車人秒速自動測溫，有效降低了公共交通出行中接觸感染風險。

與廣州智體科技有限公司達成合作，應用駕駛行為分析API極速研發并上線了出租車、公交車司乘人員“戴口罩智能識別預警模塊”，實時上傳異常數據到疫情監管、交通管理部門、公交/出租車公司后臺，實現了多站點遠程異地有效管控。

還包括深圳市賽藍科技有限公司、深圳智薈物聯技術有限公司、南京海帆數據科技有限公司等100余家試用企業，涉及零售線下門店無感刷臉購物、智慧社區刷臉門禁、企業員工刷臉考勤等場景。

此外，目前百度戴口罩識別相關基礎能力已經通過飛槳Paddle Hub對外開源，避免讓更多程序員重復造輪子，可以直接站在百度的肩膀上。

One More Thing

通過百度計算機視覺強悍的能力，已然解決了人群“是否戴口罩”、“戴口罩的人是誰”的問題。

安全、愉快地戴口罩上班已經不是難題。

那么更進一步的，戴口罩手機解鎖、刷臉支付，還需要多久能解決呢？

傳送門

飛槳(PaddlePaddle)官網:

https://www.paddlepaddle.org.cn/

PaddleSlim平臺：

https://github.com/PaddlePaddle/PaddleSlim

Paddle PLSC大規模分類庫：

https://github.com/PaddlePaddle/PLSC

PaddleLite平臺：

https://github.com/PaddlePaddle/Paddle-Lite

PaddleHub平臺：

https://github.com/PaddlePaddle/PaddleHub

免費報名 | 圖像與視頻處理系列直播課