- 目錄
-
第1篇高級大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第2篇民航大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第3篇首席大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第4篇大數(shù)據(jù)架構師(數(shù)據(jù)中臺)職位描述與崗位職責任職要求 第5篇大數(shù)據(jù)架構師崗位職責大數(shù)據(jù)架構師職責任職要求 第6篇航空業(yè)務-大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第7篇大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第8篇資深大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第9篇big data architect 大數(shù)據(jù)架構師職位描述與崗位職責任職要求 第10篇大數(shù)據(jù)架構師崗位職責
第1篇 大數(shù)據(jù)架構師崗位職責
大數(shù)據(jù)平臺架構師 ne_ttao 上海復兆信息技術有限公司,ne_ttao,復兆,復兆 職責描述:
1、負責大數(shù)據(jù)平臺框架的規(guī)劃設計、搭建、優(yōu)化和運維;
2、負責架構持續(xù)優(yōu)化及系統(tǒng)關鍵模塊的設計開發(fā),協(xié)助團隊解決開發(fā)過程中的技術難題;
3、負責大數(shù)據(jù)相關新技術的調(diào)研,關注大數(shù)據(jù)技術發(fā)展趨勢、研究開源技術、將新技術應用到大數(shù)據(jù)平臺,推動數(shù)據(jù)平臺發(fā)展;
4、負責數(shù)據(jù)平臺開發(fā)規(guī)范制定,數(shù)據(jù)建模及核心框架開發(fā)。
任職要求:
1、計算機、數(shù)學等專業(yè)本科及以上學歷;
2、具有5年及以上大數(shù)據(jù)相關工作經(jīng)驗;
3、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;
4、基于hadoop的大數(shù)據(jù)體系有深入認識,具備相關產(chǎn)品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)項目應用研發(fā)經(jīng)驗,有hadoop集群搭建和管理經(jīng)驗;
5、熟悉傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)建模,etl架構和開發(fā)流程,使用過kettle、talend、informatic等至少一種工具;
6、自驅力強、優(yōu)秀的團隊意識和溝通能力,對新技術有好奇心,學習能力和主動性強,有鉆研精神,充滿激情,樂于接受挑戰(zhàn);
第2篇 資深大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責大數(shù)據(jù)平臺架構的評估、規(guī)劃和設計;
2、分布式存儲、流式/實時計算等應用層架構搭建及核心代碼實現(xiàn);
3、數(shù)據(jù)采集、加工、監(jiān)控、分析、使用,可視化的全過程;
4、主流hadoop生態(tài)大數(shù)據(jù)系統(tǒng)相關組件的性能改進、功能擴容和故障分析;
5、解決規(guī)模增長帶來的技術和業(yè)務問題,持續(xù)建設數(shù)據(jù)平臺的分布式計算與存儲能力;
6、對海量數(shù)據(jù)利用多維查詢引擎,提供秒級查詢的解決方案,促進業(yè)務發(fā)展;
任職要求:
1、統(tǒng)招本科以上學歷,至少5年以上大數(shù)據(jù)領域工作經(jīng)驗;
2、熟悉分布式系統(tǒng),有良好的java編碼基礎或者c++基礎;
3、負責過大型數(shù)據(jù)平臺設計,豐富的olap系統(tǒng)經(jīng)驗,對常見的olap引擎有深入研究及優(yōu)化經(jīng)驗;
4、具有良好的問題分析和追蹤能力,具有正確的團隊合作意識和良好的溝通能力;
5、對hadoop的大數(shù)據(jù)體系有深入認識,對hadoop、hive、hbase、spark、flink、 kafka、es等有實際應用研發(fā)經(jīng)驗,讀過關鍵源碼;
6、具有數(shù)據(jù)挖掘、機器學習、推薦算法、人工智能、數(shù)學建模項目經(jīng)驗者優(yōu)先;
7、有民航、在線旅游、電商類業(yè)務經(jīng)驗者優(yōu)先;
第3篇 大數(shù)據(jù)架構師(數(shù)據(jù)中臺)職位描述與崗位職責任職要求
職位描述:
崗位描述:
1.負責公司數(shù)據(jù)工廠建設,業(yè)務領域核心數(shù)據(jù)體系的規(guī)劃設計,在數(shù)據(jù)化運營和數(shù)據(jù)能力產(chǎn)品化等方向上,制定數(shù)據(jù)技術和服務的策略;
2.規(guī)劃設計數(shù)據(jù)服務工具,提升數(shù)據(jù)研發(fā)的工作效率,搭建數(shù)據(jù)服務的工具/產(chǎn)品,賦能業(yè)務同學和業(yè)務產(chǎn)品,靈活支撐業(yè)務的創(chuàng)新和探索,讓數(shù)據(jù)價值更浸透;
3.負責數(shù)據(jù)質量、穩(wěn)定性等數(shù)據(jù)管理,數(shù)據(jù)內(nèi)部共享融通的數(shù)據(jù)平臺,讓數(shù)據(jù)標準更規(guī)范、數(shù)據(jù)獲取更高效;
崗位要求:
1. 5年以上數(shù)據(jù)開發(fā)崗位的經(jīng)驗,對數(shù)據(jù)倉庫、數(shù)據(jù)平臺、數(shù)據(jù)分析、數(shù)據(jù)挖掘、深度學習、nlp等領域有深刻的理解,豐富的數(shù)據(jù)架構經(jīng)驗,精通數(shù)據(jù)建模及etl設計開發(fā);有較為系統(tǒng)的海量數(shù)據(jù)性能處理經(jīng)驗;有前瞻性的整套數(shù)據(jù)管理、數(shù)據(jù)服務等解決方案的規(guī)劃和落地經(jīng)驗尤佳;
2. 對公司業(yè)務有整體的理解,對數(shù)據(jù)業(yè)務場景非常敏感,能夠有效結合業(yè)務和技術創(chuàng)新,全局地規(guī)劃或完善數(shù)據(jù)服務體系以解決業(yè)務/產(chǎn)品的問題;
3. 具有大型跨部門的復雜項目或者技術領域的管理經(jīng)驗,有成熟的團隊梯隊建設經(jīng)驗和技能儲備的思路;
4. 具備創(chuàng)新精神,邏輯思維能力強,商業(yè)嗅覺敏銳者優(yōu)先;
第4篇 big data architect 大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
responsibilities
?project delivery
?understand, analyze the customer requirements, and design the corresponding solution
?assist clients in the definition of the information architecture, to enable and leverage business analytics capabilities, starting from client's requirements to define the strategic approach to design big data architectures
?keep a close communication with clients and implementation team, clarify the question and doubt on both side, guarantee the project carried forward smoothly
?deal with the other project issue according to the project condition.
?project preparation
?coordinate with other team to prepare for the new opportunities and give the necessary support
?knowledge obtaining and sharing
?keep desire to learn new technology, follow up the trend, and review and share the new knowledge regularly.
requirements
?basic requirement
?bachelor’s degree
?e_cellent communication skills (english & mandarin)
?technical skills
?substantial e_pertise in advanced analytics technologies & solutions (incl. spss, sas, r, tableau, qlikview)
?proven practical e_pertise in big data projects with hadoop ecosystem, nosql or cloud data management technologies, master to basic technical operation including but not limit to linu_, shell, sql, python etc.
?good understanding to data model design, business analysis and data process, familiar with basic data process method and be able to handle the practical operation.
?soft skills
?strong problem solving attitude and proactive behavior to growth
?proven ability as a team leader with responsibility of defining customer needs and designing client’s solutions
?e_perience
?e_perience in /as an architect in the data warehousing and bi structure (incl. sql / data modelling, data integration, data governance) for several projects
第5篇 高級大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
崗位職責
1. 負責樂播私有云及大數(shù)據(jù)系統(tǒng)的規(guī)劃和架構工作,主導系統(tǒng)的架構設計和核心模塊開發(fā),確保項目質量和關鍵性能指標達成;
2.負責面向pb量級的數(shù)據(jù)查詢、數(shù)據(jù)計算、數(shù)據(jù)存儲以及數(shù)據(jù)模型與管理的總體架構與優(yōu)化,提升數(shù)據(jù)查詢的響應效率;
3.負責平臺數(shù)據(jù)建模和設計工作,數(shù)據(jù)抽取,數(shù)據(jù)清洗,數(shù)據(jù)建模工作,具有etl設計與開發(fā),數(shù)據(jù)質量保障,元數(shù)據(jù)管理,指標體系建立;
4.負責研發(fā)技術發(fā)展方向,新技術領域的探索,將新技術應用到項目;
任職資格:
1. 本科及以上學歷,5年以上大數(shù)據(jù)平臺架構經(jīng)驗,有多個數(shù)據(jù)產(chǎn)品開發(fā)和實施經(jīng)驗;
2. 熟悉bi平臺架構,大數(shù)據(jù)解決方案及hadoop、spark大數(shù)據(jù)相關技術,熟悉分布式系統(tǒng)基礎設施中常用的技術,如緩存、消息中間件、搜索引擎等,有實踐經(jīng)驗者優(yōu)先;
3.精通java語言以及j2ee平臺特性,熟悉常用的設計模式和開源框架,有大型互聯(lián)網(wǎng)項目經(jīng)驗或業(yè)內(nèi)知名產(chǎn)品研發(fā)經(jīng)驗者優(yōu)先;
4.精通面向對象分析和設計,并能熟練運用建模工具進行設計工作,且能夠指導初中級人員進行開發(fā)和設計工作;
5. 深刻理解數(shù)據(jù)結構和算法設計,有系統(tǒng)分析和設計實踐經(jīng)驗;
第6篇 航空業(yè)務-大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 負責民航大數(shù)據(jù)系統(tǒng)架構的整體規(guī)劃、設計與研發(fā);
2. 針對電子商務、在線營銷等領域開展深入的數(shù)據(jù)挖掘和數(shù)據(jù)分析,構建大數(shù)據(jù)基礎架構,優(yōu)化建模,采集和處理海量數(shù)據(jù),規(guī)劃基于云服務的高效、可靠的數(shù)據(jù)訪問能力;
3. 負責大數(shù)據(jù)服務平臺的研發(fā),帶領團隊獨立完成大數(shù)據(jù)產(chǎn)品的設計與開發(fā),解決技術開發(fā)過程中的技術難題。
職位要求:
1. 具備數(shù)據(jù)倉庫理論和實踐經(jīng)驗,熟悉hadoop、spark等大數(shù)據(jù)相關技術,熟悉分布式系統(tǒng)基礎設施中常用的技術,如緩存、消息中間件、搜索引擎等,有機器學習、推薦引擎、決策引擎等項目經(jīng)驗;
2. 熟悉web應用,移動應用,桌面應用等用戶行為分析模型,精通java語言以及j2ee平臺特性,熟悉常用的設計模式和開源框架;
3. 有基于公有云、私有云的應用架構的項目經(jīng)驗,具備高可用性、高性能性、高擴展系統(tǒng)設計經(jīng)驗,對高并發(fā)系統(tǒng)架構設計有深刻理解;
4. 本科以上學歷,5年以上大數(shù)據(jù)或大型項目架構設計經(jīng)驗;
5. 具備民航、旅游業(yè)相關行業(yè)經(jīng)驗有限;
6. 較好的英文溝通能力。
第7篇 民航大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 負責民航大數(shù)據(jù)系統(tǒng)架構的整體規(guī)劃、設計與研發(fā);
2. 針對電子商務、在線營銷等領域開展深入的數(shù)據(jù)挖掘和數(shù)據(jù)分析,構建大數(shù)據(jù)基礎架構,優(yōu)化建模,采集和處理海量數(shù)據(jù),規(guī)劃基于云服務的高效、可靠的數(shù)據(jù)訪問能力;
3. 負責大數(shù)據(jù)服務平臺的研發(fā),帶領團隊獨立完成大數(shù)據(jù)產(chǎn)品的設計與開發(fā),解決技術開發(fā)過程中的技術難題。
職位要求:
1. 具備數(shù)據(jù)倉庫理論和實踐經(jīng)驗,熟悉hadoop、spark等大數(shù)據(jù)相關技術,熟悉分布式系統(tǒng)基礎設施中常用的技術,如緩存、消息中間件、搜索引擎等,有機器學習、推薦引擎、決策引擎等項目經(jīng)驗;
2. 熟悉web應用,移動應用,桌面應用等用戶行為分析模型,精通java語言以及j2ee平臺特性,熟悉常用的設計模式和開源框架;
3. 有基于公有云、私有云的應用架構的項目經(jīng)驗,具備高可用性、高性能性、高擴展系統(tǒng)設計經(jīng)驗,對高并發(fā)系統(tǒng)架構設計有深刻理解;
4. 本科以上學歷,5年以上大數(shù)據(jù)或大型項目架構設計經(jīng)驗;
5. 具備民航、旅游業(yè)相關行業(yè)經(jīng)驗有限;
6. 較好的英文溝通能力。
第8篇 大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
崗位描述:
1. 制定公司的大數(shù)據(jù)發(fā)展(數(shù)據(jù)驅動、數(shù)據(jù)中臺)規(guī)劃、技術發(fā)展路線,建設合理的數(shù)據(jù)倉庫架構;
2. 分析業(yè)界大數(shù)據(jù)技術使用情況,研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地;
3. 領導數(shù)據(jù)資產(chǎn)管理和系統(tǒng)化的數(shù)據(jù)模型建設;
4. 提升團隊大數(shù)據(jù)能力,塑造團隊在行業(yè)的技術影響力;
5. 對公司其他團隊普及大數(shù)據(jù)技術能力,并帶領團隊提供大數(shù)據(jù)使用能力。
崗位要求:
1. 計算機/應用數(shù)學等相關專業(yè)、全日制本科及以上學歷;
2. 具有7年以上大數(shù)據(jù)架構工作經(jīng)驗,擁有3年以上大型互聯(lián)網(wǎng)公司相關經(jīng)驗優(yōu)先;
3. 具有很強的數(shù)據(jù)設計抽象能力,具有海量數(shù)據(jù)、復雜業(yè)務的治理和管理經(jīng)驗;
4. 熟悉大數(shù)據(jù)架構與生態(tài)圈技術(如:hive、hbase、storm、kafka、es、kylin等);
5. 熟悉大數(shù)據(jù)技術演變歷史,并能夠總結發(fā)展特點;
6. 對數(shù)據(jù)挖掘、分析、算法、工程化、ai等技術了解者優(yōu)先;
7. 具備良好的溝通協(xié)調(diào)能力、快速學習能力, 強烈的工作主動性和責任心,且熱愛技術、具有鉆研精神;
第9篇 大數(shù)據(jù)架構師崗位職責大數(shù)據(jù)架構師職責任職要求
大數(shù)據(jù)架構師崗位職責
工作職責:
負責大數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、算法平臺的技術架構及建設;
負責大數(shù)據(jù)實時檢索分析平臺的架構和建設;
負責pcg業(yè)務算法推薦,實時流計算框架的研發(fā)優(yōu)化;
跟蹤移動互聯(lián)網(wǎng)開源大數(shù)據(jù)框架、新算法框架的技術選型及平臺化預研及架構;
負責業(yè)務挖掘、算法應用的平臺支持;
負責>;5人的技術或ft團隊管理。
任職要求:
5年以上系統(tǒng)建設,設計,架構經(jīng)驗;4年以上大數(shù)據(jù)系統(tǒng)開發(fā),設計,架構經(jīng)驗;3年以上軟件工程管理經(jīng)驗;
熟悉商業(yè)智能系統(tǒng),熟悉數(shù)據(jù)倉庫,熟悉數(shù)據(jù)集市;
熟悉大數(shù)據(jù)相關技術:hadoop, hive, hbase, zookeeper, spark, cassandra, mapreduce;并閱讀過相關源碼;
管理過數(shù)據(jù)量上t級別,節(jié)點數(shù)300以上的大數(shù)據(jù)集群,開發(fā),優(yōu)化并管理過上t級別的大數(shù)據(jù)作業(yè);
熟悉常用機器學習算法,了解深度學習,強化學習,遷移學習算法,了解相關原理(ff, bf, sgd等);
熟悉各種抽樣方法(分層,過抽樣等),特征處理方法(缺失值處理,離散化等);
熟悉機器學習框架或工具(spark mllib,tensorflow, caffe等),了解源碼并能應用項目;
具備大數(shù)據(jù)云平臺、計算存儲平臺、可視化開發(fā)平臺經(jīng)驗,具備中大型成功項目經(jīng)驗優(yōu)先;具備大規(guī)模分布式計算平臺的使用和并行算法的開發(fā)經(jīng)驗,對大數(shù)據(jù)處理及應用有濃厚興趣;
具備較強的團隊管理能力和溝通能力,思維活躍,前瞻學習能力強;
了解軟件項目管理、敏捷管理方法論,在中大型項目中有所實踐。
第10篇 首席大數(shù)據(jù)架構師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責公司大數(shù)據(jù)平臺系統(tǒng)架構設計、核心開發(fā)工作(hadoop生態(tài)圈),基于業(yè)務場景設計最優(yōu)的系統(tǒng)解決方案。
2、構架大數(shù)據(jù)開發(fā)平臺,包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)管理的平臺系統(tǒng)及相關監(jiān)控,推進平臺的架構設計和實現(xiàn)。
3、利用hadoop、spark、flink等大數(shù)據(jù)技術對海量數(shù)據(jù)進行處理,支持建模(算法)的工程化實現(xiàn),實現(xiàn)可視化bi分析。
4、對現(xiàn)有系統(tǒng)的進行架構深入分析及系統(tǒng)優(yōu)化,進一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。
5、了解機器學習等技術進行數(shù)據(jù)分析及建模的方案的系統(tǒng)化設計,跟進數(shù)據(jù)挖掘項目的架構設計工作。
6、解決部門遇到的技術難題,能夠進行技術和培訓。
任職要求:
1、統(tǒng)招本科或以上學歷,計算機相關專業(yè), 2年以上大數(shù)據(jù)項目經(jīng)驗、3年以上架構經(jīng)驗。
2、熟練使用cdh、hdp、fi等hadoop生態(tài)系統(tǒng)發(fā)行版套件,進行平臺服務的安裝、部署和維護。
3、具備較豐富的基于hadoop生態(tài)圈的大數(shù)據(jù)處理項目經(jīng)驗,熟悉數(shù)倉建設、數(shù)據(jù)中臺建設
4、熟悉hadoop、hive、hbase、kafka、spark、flink、es、flume、sqoop、ozzie、tez、hue、azkanban、data_等大數(shù)據(jù)組件的使用和調(diào)優(yōu),了解數(shù)據(jù)分析和數(shù)據(jù)挖掘。
5、深刻理解大數(shù)據(jù)平臺安全機制kerberos、ranger以及血緣分析套件atlas。
6、熟悉大數(shù)據(jù)應用開發(fā)平臺的架構和設計,對數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)治理、數(shù)據(jù)質量管理、數(shù)據(jù)血緣分析、數(shù)據(jù)存儲、作業(yè)調(diào)度、數(shù)據(jù)安全、數(shù)據(jù)分析有豐富的經(jīng)驗。
7、優(yōu)秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰(zhàn)。
8、機器學習技術、數(shù)據(jù)挖掘經(jīng)驗豐富者優(yōu)先考慮。