來源：趣談公社

　　在這場數據公司的行業地震中，多家知名公司被查，但自建爬蟲工程師團隊的企業，他們獲取的信息是否合規使用？

　　雖然數據公司紛紛公開表示，暫停該服務，但仍有多家互聯網公司，金融科技公司自建爬蟲服務團隊，他們在這場行業肅清風暴中處于什么位置？在此之前，小米金融，京東金融等都被爆出涉及到個人信息泄露的問題。

　　BOSS招聘信息顯示，連連支付、百融、小米金融、邦盛科技等仍在高薪招聘爬蟲分析師。

　　在崗位描述中顯示，“進行多平臺信息的抓取和分析等。”且也給出了30K左右的薪資。

　　根據多位行業內人士觀點總結，大數據公司的爬蟲服務主要用于，向金融機構以及類金融機構提供協助貸款平臺進行展業獲客，以及催收服務。

　　爬蟲工程師招聘需求高

　　杭州魔蝎數據科技有限公司（以下簡稱摩羯數據）、新顏科技人工智能科技有限公司（以下簡稱新顏科技）被查后，快錢支付、天翼征信等也傳來被調查的消息。

　　在此背景下，服務金融機構以及類金融機構的第三方數據公司，接連發布公告暫停爬蟲運營商服務。

　　有盾喊停運營商報告業務；上海誠數信息科技有限公司（聚信立）也向商戶下發通知，停止對外提供用戶授權的爬蟲服務。

　　此外，根據某自媒體報道，傳統銀行互金部總經理就提出，應果斷停止，或審慎開展與爬蟲類技術服務公司的合作項目，清查行業涉及外部資產數據源合作的所有資料，防止惡性事件傳染。

　　但從招聘網上信息來看，爬蟲工程師仍然是各大企業的香餑餑，比如歡聚時代、百融等企業依舊在招聘數據爬蟲分析師。

　　爬蟲工作屬于數據分析工作，高薪對人才吸引力度大。Boss直聘《2019年一季度人力吸引力報告》報告顯示，市場回暖，人才需求同比增長31.8%，推薦算法工程師平均薪資近4萬元。受資本市場波動影響，2019年Q1互聯網、IT軟件和金融行業的人才吸引力指數環比分別下降2.5%和3.7%。

　　對于崗位來說，人工智能與大數據相關崗位人才吸引力依然占據前列。

　　實則，社長了解到，爬蟲工作對于程序員而言，門檻不高，剛入門的程序員就能通過培訓掌握技能。據悉，爬蟲數據主要就是通過一些自動化代碼去網上抓取一些信息回來，整理成可以使用的數據。基本一個程序員，學幾天就搞定了。掌握ETL這種比較簡單的或者web相關的可以轉。

　　社長還發現，部分互聯網公司仍在公開招聘爬蟲數據師。比如，邦盛科技、黑瞳、國美金控、小米金融、搜狗、去哪兒網、汽車之家等仍在高薪招聘爬蟲分析師。

　　爬蟲技術本來無可厚非，技術無罪，然而技術被用以在不當的方式，則將帶來相反反向效應。比如，我們可以看到移動金融App通過捆綁甚至強制獲取的方式，要求用戶一次性同意多項敏感權限。不同意就不能繼續應用軟件，但是同意以后，就可以過度開發用戶數據嗎？

　　據媒體報道，天機、葫蘆數據、白騎士等其他大數據風控服務商已暫停運營商數據服務，百融云創、鵬元征信部分服務無法使用。隨著服務商暫定應用服務，也將對“超利貸”“714高炮”迎來行業巨震。

　　業內人士介紹，智能風控對于數據而言并非必要條件。相反，智能風控離得開數據，那么企業濫用數據，應用數據開發又為何？

　　貸前貸后應用爬蟲服務

　　所謂運營商爬蟲服務，是在用戶授權賬號的前提下，登錄用戶的運營商賬戶，抓取一些手機卡過往使用情況的信息，包括使用時長、常用聯系人、套餐信息等，以此驗證機主的真實性來做風控。

　　這類第三方數據服務商玩家眾多，百融云創、第四范式、氪信科技、云蜂科技、智帆金科、通付盾等都在此領域深耕。

　　事實上，大數據風控公司數據來源大致分為第三方機構授權；是關聯公司/場景數據；以及通過爬蟲業務獲取。

　　爬蟲架構工程師幾乎是所有互聯網技術公司、數據公司、咨詢服務服務機構的標配，市場需求量很大，且大多薪資不菲。那么分析師爬到的數據究竟都做了什么？

　　現金貸從業人士告訴社長，行業肯定存在數據泄露，拿到數據就等于找到了目標客戶，通過群發短信，來間接獲客。

　　也有從業人士告訴社長，除了第三方外，企業內部爬蟲都是服務自身業務分析，或者是用來做競品分析及數據咨詢服務。

　　另一位從業人士認為，爬蟲使用的數據沒有泄露給第三方就不算是泄露隱私。他指出，爬蟲如果按照robots協議，抓取的是網絡上公開的消息（像百度爬蟲一樣），那么這種爬蟲行為是符合規范。

　　但一直被質疑個人信息泄露。就在今天下午，社長在某個地鐵站口的星巴克刷卡支付買了一杯咖啡，手機里的知乎廣告馬上給就給我推送星巴克；用手機瀏覽器搜索了一下去杭州的高鐵票，不到一分鐘就接到了同程旅游的廣告。

　　如果說是巧合，反正我是不信的，在大數據公司面前，每個人都在裸奔。

　　爬蟲爬的信息說起來主要都是個人的基本資料和一些選擇。但是實際上，我們是否許可并未可知。

　　“大數據風控公司保護好用戶隱私，是沒有問題的；如果對外售賣用戶隱私信息，就有問題了。”從業人士介紹。

　　有私募機構人士對我們表示，對于金融科技領域合規風險，他們關注是否有用戶的雙向授權，服務商的客戶是否持牌金融機構，因持牌機構對合規性要求最嚴，意味著風控服務商合規性更強。

　　值得一提的是，App的信息安全已經引起官方重視。今年1月底，中央網信辦聯合工信部、公安部、市場監管總局等四部門表態，今年將在全國范圍內發起專項治理活動。嚴重違法違規收集個人信息的App運營者，將被依法暫停相關業務、停業整頓、吊銷相關業務許可證或者吊銷營業執照。

　　有專家建議，要從保護用戶隱私角度，應該是臨時授權，并且這在技術上實現起來并不難，但是很多App并未做到。

　　社長認為，數據對于老百姓而言即平凡又重要，隨著用戶安全意識提高，更應該從源頭上解決問題。一旦數據泄露，要大幅提升違法違規企業的懲罰力度，還需制定App過度索權的評估標準和有力的監管體系，并健全救濟機制。

免責聲明：自媒體綜合提供的內容均源自自媒體，版權歸原作者所有，轉載請聯系原作者并獲許可。文章觀點僅代表作者本人，不代表新浪立場。若內容涉及投資建議，僅供參考勿作為投資依據。投資有風險，入市需謹慎。

責任編輯：張譯文