Python開發(fā)工程師26-34萬
發(fā)布人：
高邦獵頭 發(fā)布時(shí)間:2020-11-09
公司名稱：上海某知名游戲公司
工作地點(diǎn)：上海
崗位職責(zé)：
1、負(fù)責(zé)相關(guān)網(wǎng)站、論壇的爬蟲設(shè)計(jì)和開發(fā)，以及策略持續(xù)優(yōu)化；
2、分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，并對數(shù)據(jù)抓取、信息提取、去重、清洗；
3、解決反爬疑難問題，設(shè)計(jì)及優(yōu)化爬蟲系統(tǒng)等。
任職要求：
1、本科及以上學(xué)歷，計(jì)算機(jī)軟件或相關(guān)專業(yè)，三年及以上python開發(fā)經(jīng)驗(yàn)；
2、掌握網(wǎng)絡(luò)爬蟲開發(fā)原理，熟悉互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式；
3、掌握HTML，JS，精通JS逆向，精通常見的反爬蟲技術(shù)如文本混淆反爬蟲、驗(yàn)證碼等；
4、精通一種爬蟲框架，對分布式爬蟲、海量數(shù)據(jù)采集有深刻的理解；
5、熟練掌握正則表達(dá)式、XPath等信息抽取技術(shù)；
6、有通用網(wǎng)站和論壇爬取及解析的經(jīng)驗(yàn)如Readability、Newspaper等。
