大數據工程師任職要求14篇

第1篇 貴金屬大數據工程師崗位職責

大數據工程師 工作職責:

1.負責公司大數據平臺框架的研發(fā)設計工作。

2.通過對貴金屬業(yè)務規(guī)則的理解，完成對數據的分析和處理。

3.開發(fā)數據后臺，將數據分析結果呈現到前端。

任職要求:

1.全日制本科以上學歷，計算機，數學或統計相關專業(yè)。

2.有數據分析，數據處理等相關領域的工作經驗。

3.有pb級別的文本數據的清洗和處理經驗。

4.熟悉常用的大數據技術。如:spark streaming，hbase，kafka 等。

5.熟悉java開發(fā)語言。

第2篇 流媒體大數據工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責直播端及服務端海量用戶行為數據的加工處理，數據洞察驅動業(yè)務優(yōu)化；

2、打造業(yè)界領先的大數據平臺，支撐數據采集，加工，建模，分析，實驗，可視化的全流程；

3、打造業(yè)界領先的分布式計算，存儲系統，解決大規(guī)模生產環(huán)境集群可用性和性能優(yōu)化問題。

任職要求：

1、熱愛計算機科學和互聯網技術，優(yōu)秀的編碼能力，樂于快速學習和嘗試新技術、新工具；

2、對開源大數據系統有相關經驗者優(yōu)先，包括但不限于hadoop/spark/hive/flink/kafka/druid 等；

3、對數據敏感，掌握量化分析方法，善于從數據中發(fā)現問題者優(yōu)先。

第3篇 大數據工程師-數據流方向職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責字節(jié)跳動所有產品線風控方向的數據流和相關數據服務；

2、面向超大規(guī)模數據問題，每天處理千億增量的用戶行為數據；

3、負責流式數據的實時傳遞，清洗，轉換，計算，并對外提供查詢服務；

4、負責相同數據集的批處理功能。

任職要求：

1、有至少tb以上級大數據處理經驗，編碼能力強悍，具備生產系統快速 trouble-shooting 的經驗和能力；

2、熟悉大數據處理工具/框架中的一項或多項，包括但不限于hadoop， mapreduce， hive， storm， spark， druid， kafka， hbase， canal，es等；

3、對開源社區(qū)有過貢獻者優(yōu)先，請在簡歷上說明。

第4篇 微信安全大數據工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

通過海量數據挖掘建立微信安全畫像和數據倉庫，協助在線策略進行安全控制

構建機器學習無監(jiān)督或有監(jiān)督算法模型，協助精準識別微信體系內各種惡意行為

建立大規(guī)模文本內容識別能力，包括但不限于文本分類，聚類等常見nlp任務模式

任職要求：

數學、統計、計算機、自然語言處理等相關專業(yè)碩士及以上學歷；或者三年以上互聯網數據分析和大數據開發(fā)相關工作經驗；

熟悉經典的聚類、分類等機器學習和深度學習算法，有大規(guī)模機器學習系統開發(fā)經驗優(yōu)先；

熟練掌握c++/java/scala/python等至少一門編程語言。

有主流大數據平臺spark/hadoop/flink/storm等平臺開發(fā)經驗，熟悉分布式計算原理優(yōu)先

第5篇 增長大數據工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

負責用戶增長方向的離線和實時數據倉庫體系建設工作，提升數據分析工作的效率；

結合內外部數據，構建完整的用戶生命周期行為數據體系；

構建的支持用戶增長的數據分析產品，支持快速的深度分析海量ab測試實驗結果；

深度分析用戶行為、行業(yè)情況和ab測試數據，利用數據挖掘算法對多維數據進行關聯分析。

任職要求：

本科及以上學歷，計算機、統計、數學、通信等理工類相關專業(yè)；

熟悉數據倉庫理論和技術體系，熟練掌握sql/hive/mapreduce/spark/flink等大規(guī)模數據處理技術；

至少精通（python/java/scala/c++/r）一門編程語言，熟練運用各種常用算法和數據結構 ；

有分布式計算、分布式存儲、數據挖掘經驗者優(yōu)先，有開發(fā)設計用戶畫像方面經驗者優(yōu)先；

熟悉實時計算框架和相關處理技術者優(yōu)先；

熟悉growth hacking，或對此方向有興趣者優(yōu)先。

第6篇 大數據工程師-廣告系統職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責字節(jié)跳動海量用戶行為數據的處理，在分布式計算平臺基礎上建立高效、實時的數據 pipeline；

2、負責推薦系統、廣告系統的數據分析，發(fā)現模式與規(guī)律，為實驗解釋、系統改進提供數據支持；

3、負責 hadoop，spark 等大數據基礎設施和平臺的改進，解決大規(guī)模生產環(huán)境集群可用性和性能優(yōu)化問題。

任職要求：

1、2019屆畢業(yè)，本科及以上學歷，計算機相關專業(yè)；

2、熱愛計算機科學和互聯網技術，優(yōu)秀的編碼能力，樂于快速學習和嘗試新技術、新工具；

3、對數據敏感，掌握量化分析方法，善于從數據中發(fā)現問題，提出假設并使用數據進行驗證；

4、對至少一項分布式計算平臺有使用經驗，例如 hadoop，spark，hive，storm，kafka 等；

5、有參與開源項目對社區(qū)有貢獻的經歷，有互聯網公司實習經歷，有大數據處理或用戶行為數據分析經驗者優(yōu)先。

第7篇 大數據工程師職位描述與崗位職責任職要求

職位描述：

這是一個為商業(yè)人工智能領域構建實時大數據分析平臺的工作機會。我們希望您具備計算機科學或者相關專業(yè)領域的專業(yè)背景，并擁有構建分布式可擴展數據處理及大數據存儲方面的豐富經驗。您將擔任跨職能的團隊中的重要角色。我們希望您斗志昂揚，注重結果，積極主動，具備推動產品的增長和成功的成功經驗。

工作職責

?在云端或者本地集群上構建可擴展的實時數據處理流水線，收集、轉換、加載并管理各類數據源

?構建可擴展的分布式數據存儲

?確保所構建的數據處理管道具有高質量并可審計

?開發(fā)相關工具以優(yōu)化數據的提取、分析及可視化效率

?評估數據工程領域的新技術，并開發(fā)原型，以持續(xù)改善工作

?與框架和其他團隊合作，確保系統運行符合設計預期

工作要求

?全日制碩士以上學歷，計算機相關專業(yè)，cet6

?具備大數據相關技術例如spark， kafka， hadoop， hbase， hive等的豐富經驗

?具備五年以上java、scala、python相關工作經驗，mysql， redshift等sql相關經驗

?具備三年以上可擴展實時etl開發(fā)經驗

?熟悉azure/aws/gcp相關工具與知識

?良好的書面/口頭溝通技巧

?具備機器學習算法方面工作經驗者優(yōu)先

第8篇 大數據工程師（電商行業(yè)）職位描述與崗位職責任職要求

職位描述：

工作職責：

1、基于hive的數據倉庫建設、etl開發(fā)；

2、使用hive/flink等平臺進行分析內部及外部的數據，配合業(yè)務團隊進行定量和定性分析，把數據轉化成為業(yè)務增值的信息；

3、探索、評估新的技術和解決方案，提高數據并行計算能力和運行速度。

任職要求：

1、熟悉大數據相關技術：kafka/flink/hadoop/druid/hbase 等；

2、具備數據庫系統理論知識，掌握主流數據庫管理和應用，精通sql；

3、了解統計以及數據挖掘、機器學習、人工智能技術，會使用關聯分析、分類預測、聚類分析等常用分析方法；

4、熟練使用 java、python、php、go語言中的一種或者多種；

6、兩年以上大數據開發(fā)經驗，有高性能分布式平臺開發(fā)經驗，有電商行業(yè)經驗優(yōu)先。

第9篇 高級大數據工程師職位描述與崗位職責任職要求

職位描述：

崗位職責:

1、參與大數據開放平臺基礎能力建設，承擔系統架構、組件開發(fā)、方案驗證等工作；

2、參與構建大數據系列產品，包括但不限于用戶畫像、用戶增長與用戶經營、數據分析挖掘、實時計算、數據分發(fā)、機器學習平臺、風控反欺詐等產品線；

任職要求：

1、 統招本科或以上學歷，5年以上大數據開發(fā)工作經驗；

2、扎實的java基礎，能熟練使用java進行軟件功能開發(fā)；

3、熟練掌握基于hadoop生態(tài)的大數據開發(fā)工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有實時系統開發(fā)經驗優(yōu)先；

4、熟悉常用的數據挖掘算法，例如聚類、回歸、決策樹等，有過nlp項目經驗優(yōu)先；

5、有過互聯網公司數據倉庫、分析系統、用戶畫像、廣告平臺等產品開發(fā)經驗者優(yōu)先；

6、工作積極主動，善于合作，敏而好學；

第10篇 大數據工程師崗位工作職責

簡介:大數據(big data),指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。

大數據工程師職位描述(模板一)

崗位職責:

1.負責數據分析、加工、清洗、處理程序的開發(fā);

2.從事海量數據分析、挖掘相關工作;

3.負責大數據相關平臺的搭建、開發(fā)、維護、優(yōu)化;

4.對業(yè)務部門的數據分析需求給予實現與支持;

5.對公司的“數據驅動運營”的業(yè)務目標進行大數據架構方案實現。

任職要求:

1.計算機相關專業(yè),本科及以上學歷,3年以上java開發(fā)工作經驗,學習能力突出;

2.熟悉hadoop生態(tài)系統內常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經驗,有實際大數據項目經驗優(yōu)先;

3.熟練掌握oracle、mysql等主流數據庫;

4.精通java,熟悉基于j2ee的web架構設計,熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經驗;

5.熟悉linu_/uni_系統環(huán)境下的操作;熟悉tomcat等應用服務器的配置和優(yōu)化;

6.具有良好的溝通能力、組織能力及團隊協作精神,有較強的分析和解決問題的能力。大數據工程師職位描述(模板二)

崗位職責:

1.大數據平臺功能規(guī)劃、設計;

2.大數據平臺的設計、研發(fā);

3.大數據平臺實施、數據接入。

任職要求:

1.統招本科及以上學歷,計算機科學、軟件工程、數學、統計學相關專業(yè)畢業(yè);

2.具有扎實的java基礎,精通sql、mysql以及2年以上軟件開發(fā)經驗;

3.熟悉hadoop平臺架構,有hadooop、hbase、hive、spark、kafka使用經驗;

4.熟練python進行數據處理,網頁爬取;

5.有非結構化數據解析、識別經驗優(yōu)先。大數據工程師職位描述(模板三)

崗位職責:

1.負責數據倉庫建設、設計、優(yōu)化和落地;

2.負責數據etl開發(fā)、數據平臺建設、設計并實現對bi分析、數據產品開發(fā)。

任職要求:

1.985院校計算機相關專業(yè)本科以上學歷;

2.有較扎實的數據倉庫理論基礎,對數據模型建設、應用層建設有比較豐富的經驗;

3.有hadoop、hive、spark、impala等大數據技術使用經驗者優(yōu)先。大數據工程師職位描述(模板四)

崗位職責:

1.主要負責電信業(yè)務的大數據開發(fā)工作;

2.結合業(yè)務需求設計數據分析場景,并形成后臺實現方案,獨立完成業(yè)務數據建模,并將結果轉化為運營指標;

3.對產品全生命周期跟進,協調各種資源保證產品順利發(fā)展。

任職要求:

1.計算機或者相關專業(yè)本科及以上學歷,3年及以上相關工作經驗;

2.熟練掌握java開發(fā)語言,熟悉多線程和線程調優(yōu),如懂scala開發(fā)更佳;

3.熟悉linu_服務器環(huán)境、熟悉shell;

4.熟悉分布式系統、集群管理、soa架構等相關技術,熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運維經驗更佳;

5.熟悉以下技術中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;

6.具有良好的溝通能力和團隊精神,具有良好的抗壓能力。大數據工程師職位描述(模板五)

崗位職責:

1.負責大數據處理平臺應用的開發(fā)工作;

2.利用hadoop yarn/storm/spark進行開發(fā)、存儲、分布式計算應用的代碼實現;

3.優(yōu)化hadoop yarn/storm/spark 參數,實現系統調優(yōu),滿足行業(yè)應用的實時大數據處理需求;

4.學習新技術,提高整個平臺的計算能力和效率;

5.開發(fā)基于hive、hbase、es等數據處理方式的腳本程序。

任職要求:

1.3年以上hadoop/storm/spark開發(fā)經驗,對分布式、并行計算理論有深刻理解;

2.精通java/scala/python任一語言;

3.對hadoop/storm/spark源碼有研究,有大數據平臺開發(fā)工作經驗者優(yōu)先;

4.有很好的技術敏感性,良好的學習能力和吃苦耐勞能力;

5.具有較好的溝通協調能力、團隊合作能力、文檔編寫能力。

第11篇 大數據工程師-流式計算職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.負責對核心業(yè)務數據實現數據的自動化/半自動化抽取、清洗、轉化、標注等工作；

2.負責根據需求建立數據模型、進行全網數據在線抽取分析；

3.負責算法的工程化、產品化工作；關注機器學習、數據挖掘、人工智能等方向前沿研究，并能將具體場景建模后與之結合快速工程化并落地；

4.完成各種面向業(yè)務目標的數據模型的定義和應用開發(fā)規(guī)范的制定，并保證數據質量；

5.負責大數據計算平臺的研發(fā)工作。

任職要求：

1.計算機、信息系統、數學或相近專業(yè)本科以上學歷，4年以上軟件研發(fā)經驗；

2.精通spark／hadoop/hive/hbase/并有實戰(zhàn)經驗；

3.有scala， java， python等開發(fā)經驗，精通sql；

4.有海量在線、離線數據分析系統設計和開發(fā)經驗；

5.精通主流數據挖掘算法及其原理，能根據業(yè)務場景，建立挖掘模型，選擇最合適和高效的算法并實現；

6.需要有責任心， 工作積極主動， 思路清晰，擅長溝通、有團隊合作精神。

第12篇 資深大數據工程師職位描述與崗位職責任職要求

職位描述：

【崗位職責】：

1、參與公司數據平臺架構設計，負責大數據平臺和數據倉庫相關建設；

2、依據公司的大數據技術發(fā)展路線，負責基于hadoop生態(tài)系統和mpp數據庫的大規(guī)模數據平臺的研發(fā)及數據倉庫建設，提供可靠的數據存儲和訪問能力；

3、負責公司大數據平臺和數據倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調優(yōu)，保證集群高效穩(wěn)定運行；

4、規(guī)劃與開發(fā)離線數據平臺系統，處理海量數據，優(yōu)化存儲和計算架構的性能；

5、負責數據平臺技術難點攻關、技術選型評估，參與開發(fā)流程的討論與優(yōu)化；

6、參與公司數據治理策略等的制訂和實施；

7、負責協助產品經理進行數據倉庫相關的需求分析、建模、寬表設計等工作；

8、負責系統核心代碼編寫、代碼審核和重構，指導和培訓數據工程師、不斷進行系統優(yōu)化；

【任職資格】：

1、本科以上學歷，5年以上大數據研發(fā)經驗，帶領過10人以上的大數據團隊；

2、有大型分布式系統設計經驗，負責過海量數據平臺上高可用、高性能分布式系統的架構設計；

3、熟悉大數據開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等數據倉庫技術，并有廣泛的實踐經驗，具備維護和解決生產問題的能力；

5、熟悉掌握分布式存儲和nosql數據庫技術（如monogodb、redis等），有實際生產項目應用經驗；

6、熟練掌握java，python，scalar中的至少一種編程語言，掌握常見的數據結構，算法，了解軟件工程、敏捷開發(fā)等知識，熟悉常用設計模式

7、理解soa，微服務，中間件等paas相關的關鍵理念與技術，并對其有廣泛的實踐與應用經驗，樂于。

8、有民航、電子商務、風控等大數據設計和從業(yè)經驗者優(yōu)先。

第13篇 工業(yè)大數據工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、針對工廠四大ai場景（機器視覺/圖像識別、機器學習/phm、知識發(fā)現、自然語言處理），給出有競爭力的算法實現；

2、深入了解業(yè)務需求，能對算法和模型應用效果進行評估、分析和優(yōu)化等；

3、ai和大數據相關課程開發(fā)培訓；

任職要求：

1、全日制本科及以上學歷，有5年以上相關工作經驗；

2、曾經實作過ai算法功能，有深度學習項目和相關經驗，圖像處理經驗優(yōu)先考慮；

3、熟悉流行的ai學習開源工具，如tensorflow等，有計算機視覺、深度學習的開發(fā)經驗者優(yōu)先；

4、具備處理、清洗、核定分析數據能力，熟悉編程語言python等。

第14篇 大數據工程師（ elasticsearch/spark）職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、 負責基于elasticsearch的研發(fā)；

2、 負責基于spark生態(tài)系統的研發(fā)；

3、 負責elasticsearch/spark集群調優(yōu)；

4、 負責對數據進行建模。

任職要求：

1、 大學本科及以上學歷，計算機相關專業(yè)；

2、 三年以上工作經驗；

3、 熟練掌握java/scala后端開發(fā)，如多線程、網絡等；

4、 熟練掌握python、shell中的一種腳本語言；

5、 熟悉spark 生態(tài)系統組件，如：hadoop、flume、kafka、hbase、hive、pig、zookeeper；

6、 熟悉linu_開發(fā)環(huán)境；

7、 熟悉elasticsearch、lucene優(yōu)先；

8、 能夠讀懂及書寫英文文檔；

9、 有spark調優(yōu)、統計學知識的優(yōu)先考慮；

10、 有機器學習經驗者優(yōu)先考慮；

11、 對新技術有孜孜不倦的熱情。