亚洲精品中文字幕无乱码_久久亚洲精品无码AV大片_最新国产免费Av网址_国产精品3级片

工作職責(zé) 百文網(wǎng)手機(jī)站

大數(shù)據(jù)架構(gòu)師工作的職責(zé)

時(shí)間:2022-11-22 17:01:09 工作職責(zé) 我要投稿

大數(shù)據(jù)架構(gòu)師工作的職責(zé)

大數(shù)據(jù)架構(gòu)師工作的職責(zé)1

  職責(zé)

  1、負(fù)責(zé)大數(shù)據(jù)架構(gòu)設(shè)計(jì),包括定義數(shù)據(jù)的存儲、集成(ETL)、應(yīng)用,支撐業(yè)務(wù)運(yùn)營和數(shù)據(jù)分析類需求實(shí)現(xiàn);

  2、制定數(shù)據(jù)治理領(lǐng)域的數(shù)據(jù)體系化管理措施,包括元數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)處理、數(shù)據(jù)安全等工作,確保數(shù)據(jù)可信與安全;

  3、基于行業(yè)數(shù)據(jù)積累,滿足業(yè)務(wù)的數(shù)據(jù)挖掘需求,實(shí)現(xiàn)從數(shù)據(jù)到資產(chǎn)的轉(zhuǎn)變,根據(jù)目標(biāo)行業(yè)建立具有前瞻性的數(shù)據(jù)模型;

  4、對各產(chǎn)品的數(shù)據(jù)安全負(fù)責(zé),主導(dǎo)制定和實(shí)施數(shù)據(jù)庫系統(tǒng)安全策略,保證整體方案數(shù)據(jù)安全;

  崗位要求

  業(yè)務(wù)技能要求:

  1、深入理解云化、數(shù)據(jù)倉庫,在參與過的系統(tǒng)設(shè)計(jì)中,必須涉及這兩項(xiàng)關(guān)鍵技術(shù);

  n2、精通或者熟悉Hadoop體系架構(gòu),以及HDFS/HBase/Hive/MapReduce/Spark等技術(shù),了解體系架構(gòu)各組件的優(yōu)缺點(diǎn),有直接的產(chǎn)品設(shè)計(jì)與開發(fā)、部署、調(diào)優(yōu)的經(jīng)驗(yàn);

  3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發(fā),了解各數(shù)據(jù)庫優(yōu)缺點(diǎn),熟悉與架構(gòu)設(shè)計(jì)相關(guān)的數(shù)據(jù)存儲、性能調(diào)優(yōu)等相關(guān)領(lǐng)域知識,有相關(guān)項(xiàng)目經(jīng)驗(yàn)尤佳;

  4、熟悉業(yè)界常用的數(shù)據(jù)采集、集成、數(shù)據(jù)存儲、計(jì)算、數(shù)據(jù)模型、數(shù)據(jù)分析的技術(shù)方案,具有數(shù)據(jù)分析或數(shù)據(jù)挖掘相關(guān)經(jīng)驗(yàn)者優(yōu)先;

  n5、熟悉數(shù)據(jù)治理相關(guān)流程,包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)組織、數(shù)據(jù)服務(wù)等。

  專業(yè)知識要求:

  1、具備數(shù)據(jù)治理的知識與體系方案,包含政策、組織、角色、流程、規(guī)范等,以及規(guī)劃相應(yīng)的支撐方案。了解業(yè)界的數(shù)據(jù)管理方法論;

  2、具備數(shù)據(jù)用例設(shè)計(jì)和開發(fā)能力。能夠基于業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)行業(yè)務(wù)需求分析和痛點(diǎn)識別,將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)的需求,完成數(shù)據(jù)用例的設(shè)計(jì)和開發(fā);

  3、精通海量數(shù)據(jù)(日增量百億)級別數(shù)據(jù)倉庫、數(shù)據(jù)集市的構(gòu)建流程。熟悉公安、政務(wù)、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務(wù)者優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)2

  職責(zé):

  1、負(fù)責(zé)設(shè)計(jì)企業(yè)級大數(shù)據(jù)平臺的整體架構(gòu),從技術(shù)層面制定清晰的大數(shù)據(jù)產(chǎn)品與系統(tǒng)技術(shù)架構(gòu),并負(fù)責(zé)實(shí)現(xiàn)關(guān)鍵技術(shù)和產(chǎn)品。

  2、負(fù)責(zé)設(shè)計(jì)具有創(chuàng)新價(jià)值的大數(shù)據(jù)底層平臺、大數(shù)據(jù)上層應(yīng)用系統(tǒng)等,帶領(lǐng)團(tuán)隊(duì)完成有質(zhì)變的技術(shù)解決方案。

  3、負(fù)責(zé)組織同事研究行內(nèi)最前沿的技術(shù)發(fā)展方向,突破現(xiàn)有的技術(shù)難題。

  4、負(fù)責(zé)研究院對外項(xiàng)目合作協(xié)調(diào)與支持,編寫項(xiàng)目建設(shè)方案及后期項(xiàng)目建設(shè)支持。

  任職要求:

  1、碩士及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)。

  2、 JAVA基礎(chǔ)扎實(shí),不少于8年的一線開發(fā)經(jīng)驗(yàn),精通Spring boot/MyBatis/Restful API的開發(fā)與管理、熟悉ReactJS/Angular/Vue之一前端開發(fā)技術(shù),熟悉Maven或Ant、,熟悉Python語言開發(fā)加分。

  3、不少于4年大數(shù)據(jù)的直接研發(fā)經(jīng)驗(yàn),精通Hadoop/Spark系統(tǒng),有hands—on的架構(gòu)設(shè)計(jì)、性能調(diào)優(yōu)、開發(fā)經(jīng)驗(yàn)。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive等系統(tǒng)的開發(fā)經(jīng)驗(yàn)。

  4、掌握分布式系統(tǒng)原理,對分布式存儲、流式計(jì)算、消息隊(duì)列中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識。

  5、熟悉分布式系統(tǒng)的監(jiān)控、運(yùn)維、故障恢復(fù),高可用原理和設(shè)計(jì)理念。

  6、算法基礎(chǔ)扎實(shí),熟悉常見的數(shù)據(jù)結(jié)構(gòu),掌握大規(guī)模高并發(fā)訪問、大數(shù)據(jù)開發(fā)等處理經(jīng)驗(yàn);熟練的Linux系統(tǒng),網(wǎng)絡(luò),內(nèi)存和存儲等方面知識。

  7、必須要有千萬級別的項(xiàng)目管理經(jīng)驗(yàn),包括但不限于前期需求溝通,建設(shè)方案編寫,中期項(xiàng)目實(shí)施,進(jìn)度匯報(bào),后期項(xiàng)目維護(hù)。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)3

  職責(zé)

  1、負(fù)責(zé)公司大數(shù)據(jù)平臺的整體架構(gòu)設(shè)計(jì),包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)輸出;

  2、負(fù)責(zé)規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與用戶產(chǎn)品和數(shù)據(jù)產(chǎn)品的決策;

  3、負(fù)責(zé)海量數(shù)據(jù)分析、用戶行為分析,構(gòu)建用戶數(shù)據(jù)模型;

  4、負(fù)責(zé)解決核心技術(shù)問題,對技術(shù)方案進(jìn)行決策;

  5、技術(shù)團(tuán)隊(duì)管理。

  6、熟悉手機(jī)IOS、安卓系統(tǒng)APP開發(fā)

  任職資格

  1、計(jì)算機(jī)相關(guān)專業(yè)畢業(yè),本科以上學(xué)歷;

  2、5年以上相關(guān)工作經(jīng)驗(yàn),具備軟件產(chǎn)品架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),熟練掌握高性能、高擴(kuò)展性架構(gòu)設(shè)計(jì)方法;

  3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);

  4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大數(shù)據(jù)技術(shù),并能夠基于上述項(xiàng)目開發(fā)大數(shù)據(jù)相關(guān)應(yīng)用;

  5、熟悉基本數(shù)據(jù)挖掘方法和技術(shù);

  6、強(qiáng)烈的敬業(yè)精神,良好的溝通與協(xié)調(diào)能力,能有效組織協(xié)調(diào)團(tuán)隊(duì)完成各類開發(fā)工作;

  7、熱愛技術(shù),相信數(shù)據(jù)的價(jià)值,對大數(shù)據(jù)有深刻的理解。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)4

  職責(zé):

  1、負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā);

  2、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺基礎(chǔ)架構(gòu)設(shè)計(jì)、部署、監(jiān)控、優(yōu)化升級;

  3、制定項(xiàng)目/數(shù)據(jù)倉庫設(shè)計(jì)及實(shí)現(xiàn)規(guī)范,指導(dǎo)設(shè)計(jì)研發(fā)和部署;

  4、協(xié)助策略和算法團(tuán)隊(duì)工作,保障數(shù)據(jù)挖掘建模和工程化;

  5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù)。

  任職要求:

  1、全日制本科及以上學(xué)歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗(yàn);

  2、精通Hadoop/HBase/Spark/Storm/Redis技術(shù)及其生態(tài)圈;

  3、具備Java/C++/Scala等開發(fā)經(jīng)驗(yàn),熟悉數(shù)據(jù)挖掘和分析的策略與算法;

  4、具備良好的系統(tǒng)分析能力、故障診斷能力;

  5、有大數(shù)據(jù)策略、算法、可視化經(jīng)驗(yàn)優(yōu)先;

  6、211/985重點(diǎn)學(xué)校畢業(yè)優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)5

  職責(zé):

  1、負(fù)責(zé)大數(shù)據(jù)平臺的技術(shù)選型,基于Spark、Hadoop大數(shù)據(jù)平臺建設(shè)和開發(fā);

  2、完成包括數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計(jì)和數(shù)據(jù)層架構(gòu)設(shè)計(jì);

  3、構(gòu)建數(shù)據(jù)中臺,為多種行業(yè)應(yīng)用提供主數(shù)據(jù)(畫像標(biāo)簽/關(guān)系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務(wù)算法及數(shù)據(jù)服務(wù)。

  4、對海量數(shù)據(jù)處理的業(yè)務(wù)需求進(jìn)行評估和方案設(shè)計(jì)、拆分任務(wù)并指導(dǎo)工程師完成開發(fā);

  5、帶領(lǐng)大數(shù)據(jù)技術(shù)團(tuán)隊(duì)提供并實(shí)現(xiàn)大數(shù)據(jù)平臺上各項(xiàng)數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設(shè)計(jì),支撐解決方案實(shí)施。

  任職要求:

  1、本科及以上學(xué)歷,具有5年及以上大數(shù)據(jù)架構(gòu)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn);2年及以上帶領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn);溝通能力強(qiáng)。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設(shè)計(jì)者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)、主導(dǎo)過大型商業(yè)軟件的架構(gòu)設(shè)計(jì)并取得過市場商業(yè)成功者優(yōu)先考慮;

  2、熟悉整個(gè)大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖據(jù)、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化;

  3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用,并能進(jìn)行性能調(diào)優(yōu);

  4、具備優(yōu)秀的團(tuán)隊(duì)意識和溝通能力,學(xué)習(xí)能力和主動性強(qiáng),具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)6

  職責(zé):

  1、負(fù)責(zé)企業(yè)數(shù)據(jù)中心建設(shè),設(shè)計(jì)數(shù)據(jù)邏輯模型和物理模型,并完成相關(guān)開發(fā)

  2、梳理公司各業(yè)務(wù)線常用的指標(biāo)和維度,統(tǒng)一指標(biāo)定義口徑

  3、根據(jù)數(shù)據(jù)應(yīng)用開發(fā)和數(shù)據(jù)分析需求,設(shè)計(jì)數(shù)據(jù)倉庫信息層模型,提高數(shù)據(jù)開發(fā)的效率

  4、負(fù)責(zé)數(shù)據(jù)模型的運(yùn)營和優(yōu)化,及時(shí)響應(yīng)業(yè)務(wù)邏輯變更,保證模型的數(shù)據(jù)質(zhì)量和穩(wěn)定性

  5、負(fù)責(zé)公司數(shù)據(jù)標(biāo)簽體系的建設(shè),并推動標(biāo)簽體系在實(shí)際業(yè)務(wù)場景中落地

  崗位要求:

  1、5年以上DW/BI數(shù)據(jù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和性能調(diào)優(yōu)等相關(guān)經(jīng)驗(yàn)

  2、有較強(qiáng)的數(shù)據(jù)分析能力,精通數(shù)據(jù)倉庫架構(gòu),熟悉Erwin或PowerDesigner建模工具

  3、精通一種主流關(guān)系數(shù)據(jù)庫(如mysql等),熟悉Hive開發(fā)

  4、有電商業(yè)務(wù)經(jīng)驗(yàn),元數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量管理或標(biāo)簽體系搭建經(jīng)驗(yàn)者優(yōu)先

  5、優(yōu)秀的協(xié)調(diào)溝通與團(tuán)隊(duì)協(xié)作能力,極強(qiáng)的責(zé)任心,能承受一定的工作壓力,認(rèn)同企業(yè)文化和團(tuán)隊(duì)價(jià)值

大數(shù)據(jù)架構(gòu)師工作的職責(zé)7

  職責(zé):

  1、負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計(jì),包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用,并完成相關(guān)架構(gòu)設(shè)計(jì)文檔的撰寫;

  2、參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程,并參與相關(guān)產(chǎn)品的決策;

  3、負(fù)責(zé)解決核心技術(shù)問題,對技術(shù)方案進(jìn)行決策;

  4、負(fù)責(zé)大數(shù)據(jù)研發(fā)團(tuán)隊(duì)建設(shè)、人才梯隊(duì)培養(yǎng)和技術(shù)團(tuán)隊(duì)管理;

  5、積極了解業(yè)界發(fā)展,研究與跟蹤大數(shù)據(jù)新技術(shù)發(fā)展方向。

  任職要求:

  1、精通GoldenGate For BigData相關(guān)理論,具備大型數(shù)據(jù)利用的生產(chǎn)實(shí)戰(zhàn)經(jīng)驗(yàn);

  2、精通數(shù)據(jù)驅(qū)動的理論,設(shè)計(jì)并生產(chǎn)上線相關(guān)數(shù)據(jù)驅(qū)動的.產(chǎn)品;

  3、精通常用消息中間件的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關(guān)源碼者優(yōu)先;

  4、掌握hadoop、spark生態(tài)體系相關(guān)產(chǎn)品的使用,掌握MapReduce編程或Spark編程;

  5、了解傳統(tǒng)數(shù)據(jù)倉庫理論及相關(guān)ETL工具,例如kettle/datastage;

  6、熟悉Oracle、Mongodb、Mysql數(shù)據(jù)庫的使用;

  7、扎實(shí)的Java語言基礎(chǔ),熟悉Java開發(fā)工具和調(diào)試工具的使用;

  8、良好的團(tuán)隊(duì)協(xié)作精神,有能力對團(tuán)隊(duì)在軟件設(shè)計(jì)、實(shí)現(xiàn)和測試方面進(jìn)行指導(dǎo);

  9、良好的邏輯分析能力和溝通能力,執(zhí)行力強(qiáng)、對待工作認(rèn)真嚴(yán)謹(jǐn)、責(zé)任心強(qiáng)、具備出色的學(xué)習(xí)能力和團(tuán)隊(duì)合作精神,有一定的推動能力;

  10、計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域本科以上學(xué)歷,具有5年以上數(shù)據(jù)平臺項(xiàng)目開發(fā)經(jīng)驗(yàn),3年以上的架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),具有大數(shù)據(jù)平臺應(yīng)用大型項(xiàng)目架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)優(yōu)先;

大數(shù)據(jù)架構(gòu)師工作的職責(zé)8

  職責(zé):

  1、負(fù)責(zé)公司新業(yè)務(wù)方向平臺大數(shù)據(jù)基礎(chǔ)架構(gòu)的搭建及后期數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率。為公司未來方向性產(chǎn)品提供大數(shù)據(jù)底層平臺的支持和保證。

  2、負(fù)責(zé)制定大數(shù)據(jù)平臺調(diào)用約束和規(guī)范;

  3、負(fù)責(zé)大數(shù)據(jù)方向技術(shù)難題的解決,以及代碼質(zhì)量的把控;

  4、作為大數(shù)據(jù)開發(fā)團(tuán)隊(duì)的leader,負(fù)責(zé)大數(shù)據(jù)系統(tǒng)平臺開發(fā)團(tuán)隊(duì)建設(shè)與人才梯隊(duì)培養(yǎng),分享技術(shù)經(jīng)驗(yàn),撰寫相關(guān)技術(shù)文檔指導(dǎo)和培訓(xùn)工程師。

  任職要求:

  1、熱衷于大數(shù)據(jù)技術(shù),并能平衡大數(shù)據(jù)性能、穩(wěn)定性、擴(kuò)展性多重要素進(jìn)行設(shè)計(jì)和優(yōu)化;

  2、熟悉服務(wù)器基本知識,能夠評估系統(tǒng)硬件性能瓶頸;

  3、掌握Linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨(dú)立排查及解決操作系統(tǒng)層的各類問題,并能提供解決問題的理論依據(jù);

  4、精通Java服務(wù)器編程,熟悉JVM原理,對數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計(jì)有較為深刻的理解;

  5、精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構(gòu),熟悉原理、源碼、集群部署,包括參數(shù)優(yōu)化、Bug修復(fù),貢獻(xiàn)過代碼或提交過bug者優(yōu)先

  6、具備數(shù)據(jù)中心資源管理、監(jiān)控、調(diào)度等系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先,具備分布式系統(tǒng)研發(fā)經(jīng)驗(yàn)者優(yōu)先;

  7、具有應(yīng)用大數(shù)據(jù)技術(shù)處理的項(xiàng)目開發(fā)、維護(hù)超過兩年的經(jīng)驗(yàn)者優(yōu)先;

  8、具有良好的文檔編寫能力,可進(jìn)行方案設(shè)計(jì)、架構(gòu)設(shè)計(jì)。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)9

  職責(zé):

  負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn);

  配合大數(shù)據(jù)產(chǎn)品經(jīng)理完成產(chǎn)品的快速研發(fā)與交付;

  負(fù)責(zé)大數(shù)據(jù)產(chǎn)品架構(gòu)的持續(xù)優(yōu)化設(shè)計(jì);

  負(fù)責(zé)大數(shù)據(jù)產(chǎn)品核心組件設(shè)計(jì);

  負(fù)責(zé)大數(shù)據(jù)相關(guān)數(shù)據(jù)架構(gòu)規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)庫設(shè)計(jì)以及大數(shù)據(jù)產(chǎn)品研發(fā)工作;

  為應(yīng)用開發(fā)團(tuán)隊(duì)提供技術(shù)支撐。

  及時(shí)向上級反饋工作進(jìn)度、遇到的問題或者對現(xiàn)有工作的建議等;

  完成上級領(lǐng)導(dǎo)交辦的其它各項(xiàng)工作。

  任職資格:

  985/211本科及以上學(xué)歷,3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)、

  2年以上大數(shù)據(jù)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);

  豐富的JAVA研發(fā)經(jīng)驗(yàn),精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統(tǒng)或數(shù)據(jù)庫系統(tǒng)的理論基礎(chǔ),熟悉分布式計(jì)算系統(tǒng)的工作機(jī)制,具有分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、集群存儲系統(tǒng)等架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);

  熟悉整個(gè)大數(shù)據(jù)的完整處理流程(數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖掘、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化);

  精通各種大數(shù)據(jù)相關(guān)技術(shù)體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

  有數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)相關(guān)應(yīng)用或研究背景;

  溝通能力較好,積極主動意識較強(qiáng),責(zé)任心較強(qiáng)。

  具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;

  良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力和學(xué)習(xí)能力;

大數(shù)據(jù)架構(gòu)師工作的職責(zé)10

  職責(zé):

  1、對業(yè)務(wù)需求深入分析,從而進(jìn)行大數(shù)據(jù)平臺核心應(yīng)用的架構(gòu)設(shè)計(jì)、開發(fā)和技術(shù)支持;

  2、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設(shè)計(jì)、技術(shù)決策以及詳細(xì)設(shè)計(jì);

  3、把握復(fù)雜系統(tǒng)的設(shè)計(jì),確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;

  4、帶領(lǐng)團(tuán)隊(duì)攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);

  5、在大數(shù)據(jù)平臺建設(shè)路線圖指導(dǎo)下,進(jìn)行架構(gòu)實(shí)施和交付物投遞,同時(shí)確保研發(fā)質(zhì)量和方向的準(zhǔn)確性;

  6、進(jìn)行團(tuán)隊(duì)技術(shù)的培訓(xùn)和梯隊(duì)建設(shè)崗位要求;

  任職條件:

  1、本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)平臺相關(guān)工作經(jīng)驗(yàn);

  2、精通Java開發(fā)技術(shù),熟悉Shell、Scala語言和PYTHON優(yōu)先;

  3、編程基礎(chǔ)扎實(shí),熟悉I/O、多線程、集群等基礎(chǔ)框架和原理,熟悉分布式、緩存、消息等機(jī)制;

  4、熟悉常用設(shè)計(jì)模式,代碼評審規(guī)則,單元測試,持續(xù)集成;

  5、熟悉AWS云服務(wù)或阿里云服務(wù);

  6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應(yīng)用生命周期。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)11

  職責(zé):

  1、正確理解業(yè)務(wù)需求,對需求進(jìn)行工作量評估;

  2、參與項(xiàng)目相關(guān)的需求、設(shè)計(jì)、投產(chǎn)手冊等文檔的編寫;

  3、根據(jù)進(jìn)度計(jì)劃,完成所承擔(dān)功能模塊的設(shè)計(jì)、開發(fā)、單元測試、聯(lián)調(diào)測試;

  4、配合測試組修復(fù)代碼缺陷,確保功能實(shí)現(xiàn)與代碼質(zhì)量;

  5、負(fù)責(zé)所承擔(dān)功能模塊投產(chǎn)、部署,及上線后的日常維護(hù);

  6、完成項(xiàng)目經(jīng)理或者架構(gòu)師安排的其他工作;

  任職資格:

  1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),兩年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);

  2、熟悉Linux環(huán)境,掌握shell或python;

  3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數(shù)據(jù)開發(fā)組件;

  4、精通ETL,數(shù)據(jù)倉庫的設(shè)計(jì)和開發(fā);

  5、有大數(shù)據(jù)處理實(shí)戰(zhàn)經(jīng)驗(yàn),熟悉整個(gè)大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、存儲;

  6、較強(qiáng)的動手能力和學(xué)習(xí)能力,良好的溝通能力、團(tuán)隊(duì)協(xié)調(diào)能力;

  7、具有銀行、金融行業(yè)從業(yè)背景者優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)12

  職責(zé):

  1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設(shè)計(jì);

  2、負(fù)責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān);

  3、能夠獨(dú)立進(jìn)行行業(yè)大數(shù)據(jù)應(yīng)用的整體技術(shù)框架、業(yè)務(wù)框架和系統(tǒng)架構(gòu)設(shè)計(jì)和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務(wù)需求,能夠指導(dǎo)開發(fā)團(tuán)隊(duì)完成實(shí)施工作;

  4、負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務(wù)提供大數(shù)據(jù)底層平臺的支持和保證;

  5、培養(yǎng)和建立大數(shù)據(jù)團(tuán)隊(duì),對團(tuán)隊(duì)進(jìn)行技術(shù)指導(dǎo)。

  任職要求:

  1、計(jì)算機(jī)相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學(xué)位,8年(碩士5年)以上工作經(jīng)驗(yàn)(至少擁有3年以上大數(shù)據(jù)項(xiàng)目或產(chǎn)品架構(gòu)經(jīng)驗(yàn));

  2、精通Java,J2EE相關(guān)技術(shù),精通常見開源框架的架構(gòu),精通關(guān)系數(shù)據(jù)庫系統(tǒng)(Oracle MySQL等)和noSQL數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);

  3、精通SQL和Mapreduce、Spark處理方法;

  4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構(gòu)體系的專項(xiàng)建設(shè)經(jīng)驗(yàn);

  5、對大數(shù)據(jù)體系有深入認(rèn)識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數(shù)據(jù)技術(shù),并能設(shè)計(jì)相關(guān)數(shù)據(jù)模型;

  6、很強(qiáng)的學(xué)習(xí)、分析和解決問題能力,可以迅速掌握業(yè)務(wù)邏輯并轉(zhuǎn)化為技術(shù)方案,能獨(dú)立撰寫項(xiàng)目解決方案、項(xiàng)目技術(shù)文檔;

  7、具有較強(qiáng)的內(nèi)外溝通能力,良好的團(tuán)隊(duì)意識和協(xié)作精神;

  8、機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘、人工智能經(jīng)驗(yàn)豐富者優(yōu)先考慮;

  9、具有能源電力行業(yè)工作經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)13

  職責(zé):

  1、負(fù)責(zé)公司大數(shù)據(jù)底層框架的整體架構(gòu)設(shè)計(jì),結(jié)合公司實(shí)際業(yè)務(wù)情況進(jìn)行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;

  2、負(fù)責(zé)公司項(xiàng)目的整體評估、設(shè)計(jì)、架構(gòu)及關(guān)鍵模塊的開發(fā);

  3、負(fù)責(zé)架構(gòu)優(yōu)化,協(xié)助團(tuán)隊(duì)解決開發(fā)過程中遇到的技術(shù)難題;

  4、負(fù)責(zé)新技術(shù)的調(diào)研和大數(shù)據(jù)相關(guān)開源組件的研究,并能在團(tuán)隊(duì)進(jìn)行推廣應(yīng)用;

  5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項(xiàng)目核心模塊及核心框架的開發(fā);

  6、負(fù)責(zé)大數(shù)據(jù)平臺的性能條有和問題診斷。

  任職要求:

  1、計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3—5年以上工作經(jīng)驗(yàn),2—3年大數(shù)據(jù)相關(guān)經(jīng)驗(yàn);

  2、具有扎實(shí)的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負(fù)責(zé)過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計(jì);

  3、對基于Hadoop的大數(shù)據(jù)體系有深入的認(rèn)識,具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),有Hadoop集群搭建和管理經(jīng)驗(yàn),度過Hadoop和Spark源碼;

  4、熟悉Linux和Python語言,了解Scala原理和底層技術(shù);

  5、熟悉分布式系統(tǒng)的架構(gòu)及對其進(jìn)行設(shè)計(jì)和優(yōu)化,對海量數(shù)據(jù)的清晰、分析處理及存儲有相關(guān)的實(shí)戰(zhàn)經(jīng)驗(yàn);

  6、算法基礎(chǔ)扎實(shí),熟悉常見的數(shù)據(jù)結(jié)構(gòu),深入理解分布式算法和以上提到的分布式系統(tǒng),

  7、必須有一線coding的能力;

  8、有統(tǒng)計(jì)學(xué)、數(shù)學(xué)知識,海量數(shù)據(jù)處理、分析和挖掘,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)14

  職責(zé):

  (1)負(fù)責(zé)公司大數(shù)據(jù)平臺搭建,相關(guān)的設(shè)計(jì)和技術(shù)開發(fā)工作,負(fù)責(zé)大數(shù)據(jù)存儲系統(tǒng)、分布式計(jì)算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設(shè)計(jì)、研發(fā)以及維護(hù)、優(yōu)化工作;

  (2)通過數(shù)據(jù)分析技術(shù),挖掘有利于營銷中各業(yè)務(wù)場景的變量或規(guī)則類標(biāo)簽,以提升模型效果,為文旅、教育業(yè)務(wù)提供數(shù)學(xué)模型理論及編程支撐;

 。3)對接溝通業(yè)務(wù)系統(tǒng)研發(fā)團(tuán)隊(duì)和產(chǎn)品部門,提供數(shù)據(jù)驅(qū)動方面的專業(yè)咨詢方案,并對業(yè)務(wù)的大數(shù)據(jù)應(yīng)用場景提出建設(shè)性意見;

  (4)配合部門領(lǐng)導(dǎo)進(jìn)行項(xiàng)目需求分析、設(shè)計(jì)開發(fā)工作。

  任職要求:

 。1)計(jì)算機(jī)、統(tǒng)計(jì)學(xué),數(shù)學(xué)等相關(guān)專業(yè)本科以上學(xué)歷,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設(shè)計(jì)開發(fā)經(jīng)驗(yàn),高效高質(zhì)量產(chǎn)出需求和技術(shù)文檔;

 。2)精通Hadoop,熟悉大數(shù)據(jù)生態(tài)技術(shù),如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗(yàn);熟悉HDFS/MapReduce等;

 。3)熟悉Java,能夠獨(dú)立應(yīng)用python、R、SAS或類似分析工具進(jìn)行數(shù)據(jù)分析;

  (4)熟悉大數(shù)據(jù)挖掘、可視化分析,各種BI算法和產(chǎn)品等,在計(jì)算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個(gè)或多個(gè)算法領(lǐng)域的研發(fā)經(jīng)驗(yàn),能夠運(yùn)用數(shù)據(jù)作為產(chǎn)品解決業(yè)務(wù)方運(yùn)營及決策問題;

 。5)有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗(yàn)者優(yōu)先,有海量數(shù)據(jù)的機(jī)器學(xué)習(xí)算法實(shí)踐經(jīng)驗(yàn)優(yōu)先;

 。6)工作認(rèn)真、負(fù)責(zé),有良好的團(tuán)隊(duì)合作精神,良好的分析能力、溝通技巧。

大數(shù)據(jù)架構(gòu)師工作的職責(zé)15

  職責(zé):

  1、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目平臺架構(gòu)的評估、規(guī)劃和設(shè)計(jì)

  2、開發(fā)大數(shù)據(jù)平臺的核心模塊代碼,負(fù)責(zé)大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實(shí)施,保證大數(shù)據(jù)產(chǎn)品的上線運(yùn)行

  3、根據(jù)業(yè)務(wù)需求整合優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性

  4、指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè),分析模型構(gòu)建及分析呈現(xiàn)

  5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進(jìn)業(yè)界先進(jìn)技術(shù);

  6、根據(jù)項(xiàng)目要求編寫相關(guān)技術(shù)文檔;

  7、負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計(jì)、審核和評審;

  8、負(fù)責(zé)核心模塊研發(fā),負(fù)責(zé)大數(shù)據(jù)平臺的搭建,完成系統(tǒng)調(diào)試、集成與實(shí)施;

  9、負(fù)責(zé)關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;

  10、負(fù)責(zé)對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成PoC;

  11、指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗(yàn)。

  任職資格:

  1、精通Linux操作系統(tǒng),熟練使用Java;

  2、3年以上大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn),兩個(gè)項(xiàng)目的架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,并熟悉其工作原理;

  3、有Hadoop、Spark、Hbase平臺性能調(diào)優(yōu)經(jīng)驗(yàn);

  4、熟悉其它分布式存儲相關(guān)技術(shù),包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

  5、熟悉Java開發(fā)常用框架、如Spring、MyBatis等;

  6、熟悉關(guān)系型數(shù)據(jù)庫如oracle及數(shù)據(jù)庫編程。

  7、能夠根據(jù)項(xiàng)目情況安排人力、分配任務(wù),具有較強(qiáng)的團(tuán)隊(duì)管理能力。

  8、碩士以上學(xué)歷,20xx年以上的工作經(jīng)驗(yàn)。

【大數(shù)據(jù)架構(gòu)師工作的職責(zé)】相關(guān)文章:

大數(shù)據(jù)架構(gòu)師的職責(zé)10-10

架構(gòu)師工作職責(zé)08-22

大數(shù)據(jù)架構(gòu)師崗位的具體職責(zé)表述-崗位職責(zé)01-11

軟件架構(gòu)師工作的職責(zé)10-18

架構(gòu)師工作職責(zé)(精選27篇)05-17

架構(gòu)師工作職責(zé)(15篇)08-24

大數(shù)據(jù)架構(gòu)師崗位的主要職責(zé)概述(精選10篇)08-10

軟件架構(gòu)師的基本職責(zé)03-20

NET架構(gòu)師的基本職責(zé)08-18