爬蟲工程師

崗位前置語:
1、科技型創(chuàng)業(yè)公司，小天花板級技術(shù)團隊，事密則成。
2、接受線上、線下Part-time，結(jié)果導(dǎo)向，不拘泥于形式。
3、未來定位為一家以技術(shù)驅(qū)動業(yè)務(wù)的科技獨角獸。

職位描述:

1、遵循robots協(xié)議，參與爬蟲系統(tǒng)的建設(shè)與優(yōu)化，滿足各類業(yè)務(wù)數(shù)據(jù)需求;
2、負責分布式爬蟲系統(tǒng)的建設(shè)，優(yōu)化數(shù)據(jù)調(diào)度、抓取、解析、存儲全棧流程;
3、幫助團隊攻克網(wǎng)頁信息抽取技術(shù)算法的難關(guān)，提升海量數(shù)據(jù)系統(tǒng)的抓取效果與性能。
4、關(guān)注最新數(shù)據(jù)挖掘、抓取技術(shù)，不斷維護和優(yōu)化現(xiàn)有爬蟲框架，確保抓取的高效和穩(wěn)定性。

職位要求:
1、本科或研究生以上學(xué)歷，3-5年爬蟲抓取采集相關(guān)工作經(jīng)歷;
2、熟悉主流爬取技術(shù)及爬蟲框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等;
3、熟悉Python/Java/Go/C++其中一種語言，具備扎實的編碼能力;
4、熟悉常見反爬封禁策略，并具備相關(guān)的實戰(zhàn)經(jīng)驗。

加分項:
有產(chǎn)業(yè)鏈數(shù)據(jù)相關(guān)經(jīng)驗者優(yōu)先考慮。
有大模型應(yīng)用開發(fā)相關(guān)經(jīng)驗者優(yōu)先考慮。
熟悉分布式爬蟲框架(如StormCrawler、Heritrix等)
有大數(shù)據(jù)相關(guān)技術(shù)(如Hadoop、Spark、Kafka)的使用經(jīng)驗