職位描述
崗位職責
1、負責構建垂直類爬蟲架構,智能抓取系統設計與研發(如抓取調度,多樣化抓取,頁面解析和結構化抽取,海量數據存儲和讀取等)
2、負責爬蟲核心算法的策略優化研究,提升爬蟲抓取效率和質量(如調權調度、分析預測、質量判斷、封禁與反封禁研究等)
3、負責HTTP、AJAX等各類網絡請求分析,探索和研究高效的數據抓取解決方案
任職資格:
1、本科及以上學歷,良好的代碼能力,扎實的數據結構和算法功底,有快速迭代、逐步優化的工程項目經驗
2、有良好邏輯思維能力、溝通能力、團隊合作精神、學習能力,抗壓能力,對挑戰性問題充滿激情
3、熟悉linux和Java開發,熟悉shell/perl/python等腳本語言,熟練掌握正則表達式
4、有多線程、網絡數據處理經驗優先(如HTTP協議,AJAX,爬蟲開發,瀏覽器內核開發,Web服務開發等)
5、有大規模分布式海量數據處理經驗優先(如Hadoop/Hbase/Spark/Strom/Flink等)
企業介紹
關于滴滴出行
滴滴平臺出行是全球領先的移動出行平臺;利用移動互聯網和基于機器學習的算法技術實現司機、乘客、交通工具的智能匹配,為超過4億用戶提供出租車召車、專車、快車、順風車、代駕、公交、小巴、在線租車和企業級等全面出行服務。2016年10月,滴滴日完成訂單已突破2000萬;成為是全球第二大在線交易平臺。2016年8月,滴滴出行并購優步中國。
滴滴致力于與不同社群及伙伴協作互補,運用大數據驅動的深度學習技術,解決中國城市的出行、環保、就業挑戰;提升用戶體驗,創造社會價值,建設開放、高效、可持續的移動出行新生態。2016年,滴滴登上《財富》雜志“改變世界的50強”榜單;同年,獲《MIT科技評論》膺選為全球五十大創新企業之一。2015年,滴滴入選達沃斯全球成長型公司。