為3000企業(yè)尋干凈數(shù)據(jù)
◆ 造數(shù)創(chuàng)始人黃震昕
文| 鉛筆道 記者 劉金策
?導(dǎo)語
初二自學(xué)黑客技術(shù)，初三自建網(wǎng)站，高一參加iGoogle大學(xué)生創(chuàng)新設(shè)計大賽并獲獎，高二孤身上京拜訪李開復(fù)，被他寫入《向死而生》一書中，大一開始組建學(xué)生技術(shù)團(tuán)隊，大三在校園O2O領(lǐng)域創(chuàng)業(yè)，獲得四輪融資……
外人眼里的黃震昕，是一個類似科幻電影里天才少年式的人物。
去年10月，他帶著一幫同樣“Geek”的員工成立了北京造數(shù)科技有限公司，開始新一次創(chuàng)業(yè)。
造數(shù)是一家技術(shù)驅(qū)動的公司，通過智能解析網(wǎng)頁，幫助客戶在沒有編程基礎(chǔ)的情況下，快速獲取互聯(lián)網(wǎng)的公開數(shù)據(jù)。企業(yè)可運(yùn)用這些外部數(shù)據(jù)來分析市場、應(yīng)對競爭、促進(jìn)銷售等，并省去招募爬蟲工程師和爬蟲維護(hù)的成本。
目前，造數(shù)已經(jīng)累計爬取2000萬個網(wǎng)頁，服務(wù)3000家以上企業(yè)客戶。
注:黃震昕承諾文中數(shù)據(jù)無誤，為其真實(shí)性負(fù)責(zé)，鉛筆道已備份錄音速記，為內(nèi)容客觀性背書。
大數(shù)據(jù)基礎(chǔ)層的商業(yè)價值
成都，電子科技大學(xué)，去年7月。
黃震昕帶著同伴在校內(nèi)游蕩。
他在找自己的導(dǎo)師周濤（仟躍數(shù)據(jù)CEO），導(dǎo)師是一位業(yè)內(nèi)的傳奇人物：27歲成為四川最年輕的教授，《大數(shù)據(jù)時代》譯者、電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心主任……這串頭銜可以排到很長。
更重要的是，從自己入校那天起，導(dǎo)師就給予了自己信任和支持。他相信這次也不會例外。
三人在一棟教學(xué)樓的三樓走廊見面。年輕的教授從走廊翻到天臺，示意他倆跟著過去。
黃震昕開門見山，“老師，我在醞釀想做一個新的事情。”
周濤教授的回答同樣直接，“你想做什么？”
“智能云爬蟲，我想從大數(shù)據(jù)產(chǎn)業(yè)鏈的基礎(chǔ)層切入，把互聯(lián)網(wǎng)上已經(jīng)開源但是混亂的大數(shù)據(jù)轉(zhuǎn)成結(jié)構(gòu)化數(shù)據(jù)，為企業(yè)提供有價值的數(shù)據(jù)資產(chǎn)。”
“那你的優(yōu)勢在哪，你憑什么來做這件事？”
“我的團(tuán)隊成員有完整的創(chuàng)業(yè)經(jīng)驗，愿意跟我一起干的都是待了3、4年老員工，技術(shù)層面絕對信得過……”黃震昕從技術(shù)、團(tuán)隊方面回答了老師的問題。
“好，我支持你。”老師當(dāng)場拍板。
不久之后，前一項目的投資方——明勢資本投決定再次投資他的新項目。
就這樣，導(dǎo)師和明勢資本成為黃震昕的天使投資方。
300萬天使投資，一支跟了自己4年的技術(shù)團(tuán)隊，這是黃震昕去年8月啟動造數(shù)時的全部資本。
選擇數(shù)據(jù)挖掘領(lǐng)域，他經(jīng)過了仔細(xì)考慮。
對很多中小企業(yè)來說，需要從互聯(lián)網(wǎng)獲取外部數(shù)據(jù)，以便進(jìn)行市場分析、輿情監(jiān)控和競對分析等活動， 例如，對京東、亞馬遜的商品進(jìn)行追蹤以獲得市場的最新動態(tài)，對商圈內(nèi)大眾點(diǎn)評店鋪數(shù)據(jù)進(jìn)行分析以得到最佳的店鋪選點(diǎn)，或者對政府的招投標(biāo)網(wǎng)站進(jìn)行檢測以第一時間獲得市場動態(tài)。
大數(shù)據(jù)時代到來，市場上爬蟲的需求越來越多，但是爬蟲需要的代碼基礎(chǔ)使這項服務(wù)的專業(yè)性門檻較高。“一個小型企業(yè)聘請爬蟲工程師的成本至少在20萬，中型企業(yè)的爬蟲工程維護(hù)成本更高。”
很多時候，企業(yè)因為技術(shù)和成本限制居然還是手動復(fù)制粘貼來收集數(shù)據(jù)。
黃震昕想做的，是用智能算法來做互聯(lián)網(wǎng)數(shù)據(jù)的挖掘，提高效率，為企業(yè)節(jié)省人力成本，讓企業(yè)把更多時間集中在數(shù)據(jù)本身上。
8月的一天，天氣正好，日歷上說宜動土裝修、搬家、結(jié)婚、開業(yè)，這是黃震昕特意選的黃道吉日，那天，項目正式開工。
對造數(shù)團(tuán)隊來說，產(chǎn)品研發(fā)過程算的上順風(fēng)順?biāo)?/p>
◆ 造數(shù)網(wǎng)站首頁截圖
與傳統(tǒng)爬蟲工具相比，造數(shù)做了兩點(diǎn)改進(jìn)：
一是可以智能解析頁面結(jié)構(gòu)。客戶無需編程基礎(chǔ)即可使用，不用再專門雇傭爬蟲工程師，從而簡化操作流程，降低產(chǎn)品使用門檻。
第二則是造數(shù)的服務(wù)搭建在云上，客戶只需訪問網(wǎng)站即可使用，不需要下載專門的軟件。“整個平臺都是基于云端的”。
智能算法+云服務(wù)
去年年底，項目進(jìn)入測試階段。
一位客戶主動找上門來，說自己之前想用某工具采集亞馬遜上一件商品的所有評論結(jié)果，要學(xué)習(xí)大量專業(yè)名詞，看5個以上的長視頻來學(xué)習(xí)，“花了一周時間也沒學(xué)會軟件操作”。
改用造數(shù)之后，客戶5分鐘學(xué)會操作，從創(chuàng)建爬蟲和得到結(jié)果一共也沒用上十分鐘。
得到這個消息的時候，黃震昕覺得有些自豪。
年初，網(wǎng)站服務(wù)器突然崩潰，團(tuán)隊卻開了兩瓶香檳慶祝。
之所以如此，是因為團(tuán)隊此前運(yùn)營推廣效果開始顯現(xiàn)，“那天造數(shù)網(wǎng)站的獨(dú)立訪問量超過2000，用戶量激增”。
對造數(shù)這種以技術(shù)驅(qū)動的公司來說，技術(shù)研發(fā)過程難度雖大，但心中總算有譜。重點(diǎn)要做的，反而是如何將產(chǎn)品推向市場。
入測試階段后，團(tuán)隊就開始考慮這個問題。
恰好，團(tuán)隊負(fù)責(zé)運(yùn)營的一位同事在知乎擁有10萬粉絲。他在“你寫論文時發(fā)現(xiàn)了哪些神網(wǎng)站？”這個問題下作答，提到了自己家的網(wǎng)站。
無心插柳，最終這個問題得到約400個贊同，給網(wǎng)站帶來1500多的獨(dú)立訪客。
那天之后，團(tuán)隊立馬重新調(diào)整了系統(tǒng)架構(gòu)，并對服務(wù)器進(jìn)行了升級。“增加此前平臺沒有的集群架構(gòu)，提高了系統(tǒng)可伸縮性”。
為了保持系統(tǒng)持續(xù)性運(yùn)轉(zhuǎn)，團(tuán)隊一直在優(yōu)化底層技術(shù)。2月下旬，造數(shù)完成了對網(wǎng)站的深度爬取功能。3月中旬，造數(shù)完成了API功能……
現(xiàn)階段，造數(shù)可以提供兩種服務(wù)模式，一種是根據(jù)爬取次數(shù)收費(fèi)的普通服務(wù)，另一種則是根據(jù)企業(yè)需求單獨(dú)定制的服務(wù)，包括私有化部署版本購買，知識圖譜，數(shù)據(jù)產(chǎn)品開發(fā)等。
企業(yè)用戶在使用造數(shù)時，需要先行注冊，之后輸入需要爬取的頁面并選取得所需的數(shù)據(jù)，配置地址規(guī)則，之后平臺會自動抓取，得到用戶所需數(shù)據(jù)。
數(shù)據(jù)導(dǎo)出時，用戶可通過控制臺選擇自己喜歡的格式輸出，系統(tǒng)目前已經(jīng)支持Excel，CSV，JSON等多種格式，也可以通過API與企業(yè)內(nèi)部系統(tǒng)進(jìn)行融合。
現(xiàn)階段，團(tuán)隊已經(jīng)累計服務(wù)3000家以上的企業(yè)，爬取2000萬以上網(wǎng)頁。
今年，黃震昕和團(tuán)隊將繼續(xù)優(yōu)化算法，提高系統(tǒng)智能度以使產(chǎn)品更加易用。同時，團(tuán)隊正計劃啟動下一輪融資，資金主要用于技術(shù)的研發(fā)升級。
