糖蜜直播免费版app下载-糖蜜直播永久免费版下载-糖蜜直播最新下载安装

**Python軟件開發(fā)工程師 9-13K元/月

立即開聊
投遞簡歷
  • 1周前

    最近登錄

  • 100%

    簡歷查看率

  • 1年

    會員等級

  • 單位性質(zhì): 民營企業(yè)
  • 注冊資金:
  • 員工人數(shù):20-99
  • 營業(yè)執(zhí)照:
  • 基本信息

  • 職位描述

    職位描述:
    1、負責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺的架構(gòu)設(shè)計與開發(fā)
    (如抓取調(diào)度,多樣化抓取,頁面解析和結(jié)構(gòu)化抽取)、技術(shù)選型:
    2、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗證碼、混淆加密,算法還原,so層,頁面跳轉(zhuǎn)等難點攻克,提升網(wǎng)頁抓取的效率和質(zhì)量:
    3、對抓取后的數(shù)據(jù)進行清洗、存儲等,并持續(xù)優(yōu)化平臺,以便滿足各種爬取業(yè)務(wù)需求。
    崗位要求:
    1.精通Python語言或者Java語言,至少熟練掌握主流爬蟲框架中的一種:熟悉常用的庫requests/gevent等
    2.了解各種加密算法,在破解驗證碼方面有豐富經(jīng)驗,能夠獨立解決is反爬和模擬登陸問題:
    3.熟練掌握正則表達式、XPath、CSS等網(wǎng)頁信息抽取技術(shù):
    4.熟悉常見反爬機制,驗證碼識別,IP代理池
    應(yīng)用lp池、headers認證和cookie等
    5.熟練掌握應(yīng)用Selenium、PhantomJS
    Splash、Puppeteer實施動態(tài)抓取;
    6.熟悉熟練使用charles、fiddler等抓包工具者優(yōu)先;
    7熟悉數(shù)據(jù)清洗,能夠用numpy、pandas
    iieba等工具對數(shù)據(jù)進行處理者優(yōu)先:
    8.熟悉mvsgl、mongodb、redis.
    rabbitMQ、kafka、spark者優(yōu)先
    聯(lián)系我時,請說是在廣州校園網(wǎng)上看到的,謝謝!
  • 競爭力分析
    你的競爭力超過了
    的求職者
    查看完整個人競爭力>>

  • 聯(lián)系方式

    溫馨提示:以任何形式向勞動者收取定金、保證金(物)的行為均違反《中華人民共和國勞動法》,請求職者提起注意并加以甄別。
  • 投遞簡歷
    立即開聊
  • 熱門搜索
  • 熱門職位
  • 熱門城市
  • 其他區(qū)域
×
完善簡歷提醒
你當(dāng)前的在線簡歷填寫不完整,現(xiàn)在投遞求職成功率不高, 建議先完善后再投遞,不能浪費任何一個機會哦~
去完善
暫不投遞