崗位職責(zé)：1、負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)及數(shù)據(jù)庫的設(shè)計(jì)與開發(fā)；2、維護(hù)和優(yōu)化已有的爬蟲服務(wù)；3、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究，設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，充分利用資源，提升網(wǎng)頁抓取的效率和質(zhì)量；4、負(fù)責(zé)數(shù)據(jù)平臺(tái)建設(shè)，數(shù)據(jù)清洗、處理,提供數(shù)據(jù)服務(wù)以及數(shù)據(jù)管理；5、分析、理解大數(shù)據(jù)業(yè)務(wù)需求,設(shè)計(jì)技術(shù)方案并落地實(shí)施6、處理各個(gè)業(yè)務(wù)在使用數(shù)據(jù)平臺(tái)過程中的各種問題，分析并給出優(yōu)化方案；7、可以獨(dú)立跟進(jìn)需求項(xiàng)目開發(fā)進(jìn)度；任職資格:1、計(jì)算機(jī)相關(guān)專業(yè)，4年及以上數(shù)據(jù)采集和大數(shù)據(jù)生態(tài)開發(fā)工作經(jīng)驗(yàn)；2、Python服務(wù)器應(yīng)用開發(fā)經(jīng)驗(yàn)，熟悉Django/flask等web開發(fā)框架。并具有獨(dú)立搭建、維護(hù)和優(yōu)化Django/flask框架和系統(tǒng)的能力。3、掌握網(wǎng)絡(luò)爬蟲開發(fā)原理，對(duì)互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式熟悉，知道如何處理需登錄網(wǎng)站、動(dòng)態(tài)網(wǎng)頁等各種情況下的數(shù)據(jù)采集方法。4、有網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗(yàn)、有scrapy等開源抓取工具開發(fā)經(jīng)驗(yàn)優(yōu)先。5．熟悉常用數(shù)據(jù)庫(MySQL/Oracle/SQLSever) ，熟悉索引技術(shù)和SQL優(yōu)化6．精通大數(shù)據(jù)生態(tài)技術(shù)：有Hadoop、Zookeeper、HBase、Hive、Flume、Kafka、Sqoop、Spark等實(shí)際項(xiàng)目經(jīng)驗(yàn)。7、對(duì)代碼和設(shè)計(jì)質(zhì)量有嚴(yán)格要求，重視代碼檢查和審核，良好的編程習(xí)慣的標(biāo)準(zhǔn)；8、具備良好的學(xué)習(xí)能力、溝通能力和團(tuán)隊(duì)協(xié)作精神，對(duì)技術(shù)有非常強(qiáng)烈的熱情；

蘇州百捷信息科技有限公司隸屬于賽博威集團(tuán)，廣東賽博威信息科技有限公司（以下簡稱：賽博威）是信息產(chǎn)業(yè)內(nèi)多元化發(fā)展的大型企業(yè)，自成立以來，通過信息技術(shù)革新和行業(yè)智慧創(chuàng)新，以及憑借眾多的高科技和IT專家和人才，結(jié)合超25年核心行業(yè)（大消費(fèi)、房地產(chǎn)物業(yè)、石化等）經(jīng)驗(yàn)，致力于為企業(yè)提供數(shù)字化咨詢、軟件技術(shù)實(shí)施與運(yùn)營服務(wù)。賽博威在華南（廣州）、華東（蘇州）設(shè)有兩大交付中心，同時(shí)在華南（廣州）還設(shè)有服務(wù)中心，業(yè)務(wù)范圍面向全國，輻射亞太，目前公司員工已超過600人，其中80%為專業(yè)技術(shù)團(tuán)隊(duì)人員。賽博威深耕大消費(fèi)行業(yè)，憑借豐富的資源與經(jīng)驗(yàn)沉淀，已形成一體化數(shù)字營銷平臺(tái)-TPM、微鏡大數(shù)據(jù)分析、新零售SBC產(chǎn)業(yè)電商平臺(tái)等企業(yè)數(shù)字賦能產(chǎn)品系列，同時(shí)面向房地產(chǎn)、物業(yè)以及石化行業(yè)，有成熟的智慧社區(qū)物管系統(tǒng)，智慧物流管理系統(tǒng)、無人值守地磅稱重系統(tǒng)等智慧科技產(chǎn)品系列。目前賽博威已成為寶潔、瑪氏、維他奶、屈臣氏、強(qiáng)生、小罐茶、中石化、廣州地鐵、泛海物業(yè)、珠海正方、富力地產(chǎn)、歐派等多家知名大型企業(yè)的長期IT軟件服務(wù)合作伙伴。未來，賽博威將秉承面向客戶-客戶至上、誠實(shí)守信、合作共贏，面向員工-探索創(chuàng)新、簡單快樂、彼此成就的企業(yè)價(jià)值觀以及全渠道數(shù)字營銷產(chǎn)品體系、扎實(shí)的大數(shù)據(jù)分析能力與IT建設(shè)及運(yùn)維服務(wù)能力，攜手B端客戶為C端消費(fèi)者提供更便捷、舒適的生活體驗(yàn)，致力于成為企業(yè)數(shù)字賦能的領(lǐng)跑者。蘇州地址：工業(yè)園區(qū)啟月街288號(hào)紫金東方C座2樓216廣州：廣州市越秀區(qū)先烈中路73號(hào)穗豐大廈C座7-8樓 廣州市黃埔區(qū)科學(xué)城彩頻路11號(hào)廣東軟件園F棟10樓、12-13樓