当前位置:雨枫文档文档大全文秘文档内容页

大数据平台架构师岗位职责

2024-04-22 19:10:01文秘文档访问手机版打开翻译

大数据平台架构师岗位职责 第1篇

  1、负责公司大数据处理框架研发工作,设计与开发分布式存储、数据处理与分析架构。

  2、负责大数据平台与产品和相关技术的追踪及研究。

  3、负责大数据的处理工作,以及业务数据提取、加载、转换处理流程的开发和优化。

  4、利用大数据平台工具对数据维护。

  5、负责相关项目的技术支持和服务。

  6、持续对系统的技术架构进行改进和优化。

大数据平台架构师岗位职责 第2篇

  1、建设大数据平台,主要技术为k8s, docker;

  2、跟进开源社区的更新,阅读文档,验证feature;

  3、阅读容器生态圈各组件的开源项目代码,开发新功能;

  4、持续提升平台的性能和稳定性。

大数据平台架构师岗位职责 第3篇

  1、负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境;

  2、负责实时,离线数据分析处理及实时平台的建设和搭建

  3、熟悉 Flink 流式计算引擎的使用以及源码原理,并且有相关的流式处理平台的经验。

  4、Java基础扎实,熟练掌握垃圾回收,网络,多线程编程,了解 python 或 scala

  5、负责大数据平台技术架构、数据架构的分析与设计;

大数据平台架构师岗位职责 第4篇

  1. 负责大数据项目整体架构规划,包括应用架构、技术架构、物理架构和数据架构等;

  2. 负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题;

  3. 负责项目对外技术沟通,具有较强的沟通,表达和文档撰写能力;

  4. 根据公司项目和业务发展特点,负责研究相关大数据前沿技术;

  5. 推动技术能力的沉淀。

大数据平台架构师岗位职责 第5篇

  1. 负责数澜大数据平台的架构设计和研发,建立数据生态服务,解决海量数据面临的挑战;

  2. 管理和优化Hadoop、Spark等集群,计算作业的调优,保证集群和平台的高效和稳定;

  3. 负责Hadoop、Spark、Flink的功能、性能和扩展,解决并实现业务需求;

  4. 负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;

  5. 调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力;

大数据平台架构师岗位职责 第6篇

  1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

  2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

  4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

大数据平台架构师岗位职责 第7篇

  职责:

  1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;

  2、开发大数据平台的核心代码,负责大数据平台的搭建,完成系统调试、集成与实施,技术难题的解决,保证大数据产品的上线运行 ;

  3、根据业务需求持续优化数据架构,保证产品的可靠性、稳定性 ;

  4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现 ,分享技术经验;

  5、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  6、深入研究大数据相关技术和产品,跟进业界先进技术;

  任职资格:

  1.本科及以上学历,数学或计算机相关专业毕业,不少于5年的工作经验,具有扎实的计算机基础理论知识;

  2.有3年以上Hadoop、Spark、Hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术

  3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具备实际项目设计及开发经验;

  4.熟悉sparkstreaming等相关的实时计算技术;

  5.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术,并具备多年的实际工作经验;

  6.熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库,熟悉pl/sql编程;精通Linux操作系统,熟练使用Java;熟悉常用框架.如Spring、MyBatis等;

  7.具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;

大数据平台架构师岗位职责 第8篇

  职责:

  1、负责大数据平台架构的规划与设计;

  2、负责大数据平台技术框架的选型与技术难点攻关;

  3、参与企业级大数据产品和应用规划;

  4、研究跟进大数据架构领域新技术并分享;

  5、大数据处理和分析应用平台的设计指导。

  任职资格:

  1、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

  2、熟悉BI平台架构及相关项目标准,大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;

  3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;

  4、 精通Linux/Unix环境,精通J java、scala、python、R中的一种或多种语言;

  5、 具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;

  6、大专及以上学历,3年及以上工作经验。

大数据平台架构师岗位职责 第9篇

  职责:

  1、负责规划大数据平台及应用产品的需求和技术方案设计;

  2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;

  3、负责基于大数据平台的应用设计、开发和维护;

  4、能从系统全局和各子系统的角度思考可能存在的问题,并提出改进方案建议;

  任职要求:

  1、大学本科6年以上工作经验,计算机相关专业。

  2、至少4年以上的Java开发经验,3年以上大数据应用系统的开发和设计经验。

  3、熟悉Hadoop生态圈技术体系, 对离线计算、内存计算和流式计算均有深刻理解, 如Hadoop、Storm、Spark三个中的任意二个, 能进行平台和组件优化。

  4、精通Hive、HBase仓库设计,深刻理解MR运行原理和机制,能进行以提供高任务执行效率的优化。

  5、精通Java开发,熟悉JVM调优, 对GC有深刻理解。

  6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相关技术, 能进行hbase可靠性诊断和维护。

  7、快速研究和学习技术能力。

大数据平台架构师岗位职责 第10篇

  1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;

  2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;

  3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;

  4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;

大数据平台架构师岗位职责 第11篇

  职责:

  1、负责企业大数据平台的基础建设、管理及制定拓展规划;

  2、负责大数据平台相关自动化服务工具的设计、开发;

  3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

  4、对平台特殊场景化的数据应用制定相关实践方案;

  5、大数据团队的搭建。

  任职资格:

  1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

  2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

  3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

  4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

  5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

  6、熟悉爬虫常用框架以及反爬技术;

  7、具有良好的沟通能力、分析问题与攻关问题的能力;

  8、有责任心,工作积极,对新领域新技术有热情。

大数据平台架构师岗位职责 第12篇

  1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。

  2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。

  3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。

  4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。

大数据平台架构师岗位职责 第13篇

  职责:

  1、正确理解业务需求,对需求进行工作量评估;

  2、参与项目相关的需求、设计、投产手册等文档的编写;

  3、根据进度计划,完成所承担功能模块的设计、开发、单元测试、联调测试;

  4、配合测试组修复代码缺陷,确保功能实现与代码质量;

  5、负责所承担功能模块投产、部署,及上线后的日常维护;

  6、完成项目经理或者架构师安排的其他工作;

  任职资格:

  1、本科以上学历,计算机相关专业,两年以上大数据开发经验;

  2、熟悉Linux 环境,掌握shell或python;

  3、熟练使用hadoop,hive,HBase,YARN,kafka,spark等大数据开发组件;

  4、精通 ETL,数据仓库的设计和开发;

  5、有大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储;

  6、较强的动手能力和学习能力,良好的沟通能力、团队协调能力;

  7、具有银行、金融行业从业背景者优先。

大数据平台架构师岗位职责 第14篇

  职责:

  1、数据分析软件平台架构搭建

  2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

  3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

  4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

  任职要求:

  1、硕士以上,计算机或先关专业;

  2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

  3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议

  4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.

  5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署

  6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据平台架构师岗位职责 第15篇

  职责:

  1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

  2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

  3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

  4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

  任职要求:

  1. 硕士及以上学历,计算机相关专业。

  2. JAVA基础扎实,不少于8年的一线开发经验,精通Spring boot/MyBatis/Restful API的开发与管理. 熟悉ReactJS/Angular/Vue之一前端开发技术,熟悉Maven或Ant.,熟悉Python语言开发加分。

  3. 不少于4年大数据的直接研发经验,精通Hadoop/Spark系统,有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系统的开发经验。

  4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

  5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

  6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统, 网络, 内存和存储等方面知识。

  7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据平台架构师岗位职责 第16篇

  职责:

  1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

  2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

  3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

  4、负责指导研发完成大数据产品的开发

  5、带领团队进行产品核心技术的创新和积累

  岗位要求:

  1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;

  2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;

  3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;

  4、有实际应用storm、spark、flume、kafka等项目经验优先;

  5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。

大数据平台架构师岗位职责 第17篇

  职责:

  负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

  负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

  负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

  负责协助策略和算法工作,保障数据挖掘建模和工程化;

  负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

  负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

  负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

  任职要求:

  本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

  精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;

  熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

  熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

  熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

  具备源码级问题解决和集群优化改造能力者优先;

  能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

  逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

  具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

  具备良好的文档撰写能力和技术团队管理能力

大数据平台架构师岗位职责 第18篇

  职责:

  1、负责大数据开发团队建设;

  2、负责行业大数据产品架构设计与研发;

  3、负责带领团队进行行业大数据产品关键技术攻关。

  任职要求:

  1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

  2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

  3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

  4、对数据结构和数据统计分析算法有较为深刻理解;

  5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;

  6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

  7、需要具备2年以上研发团队管理经验。

大数据平台架构师岗位职责 第19篇

  职责:

  1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;

  2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

  3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;

  4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;

  5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;

  6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;

  7、深入研究大数据相关技术和产品,跟进业界先进技术;

  【任职要求】

  1、统计学、应用数学或计算机相关专业大学本科以上学历;

  2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;

  3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;

  4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

  5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言

  6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先

  7、熟悉大数据可视化工具Tableau/echarts

  8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;

大数据平台架构师岗位职责 第20篇

  职责:

  1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;

  2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;

  3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;

  4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线

  任职资格:

  1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;

  2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

  3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;

  4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;

  5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。

大数据平台架构师岗位职责 第21篇

  1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

  2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

  3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

  4、负责指导研发完成大数据产品的开发

  5、带领团队进行产品核心技术的创新和积累

大数据平台架构师岗位职责 第22篇

  1.深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;

  2.对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;

  3.搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;

  4.根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。

大数据平台架构师岗位职责 第23篇

  职责:

  1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;

  2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;

  3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;

  4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。

  职位要求:

  1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;

  2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;

  3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;

  4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;

  5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;

  6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。

大数据平台架构师岗位职责 第24篇

  1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;

  2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;

  3、负责解决核心技术问题,对技术方案进行决策;

  4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

  5、积极了解业界发展,研究与跟踪大数据新技术发展方向。

大数据平台架构师岗位职责 第25篇

  1、基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

  2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。

  3、作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。

  4、负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。

  5、负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。

大数据平台架构师岗位职责 第26篇

  1、正确理解业务需求,对需求进行工作量评估;

  2、参与项目相关的需求、设计、投产手册等文档的编写;

  3、根据进度计划,完成所承担功能模块的`设计、开发、单元测试、联调测试;

  4、配合测试组修复代码缺陷,确保功能实现与代码质量;

  5、负责所承担功能模块投产、部署,及上线后的日常维护;

  6、完成项目经理或者架构师安排的其他工作;

大数据平台架构师岗位职责 第27篇

  职责:

  1. 负责大数据平台的基础技术规划,编制相关规范文档。

  2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

  3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

  4. 负责大数据相关技术发展方向的预研。

  5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

  6. 制定大数据平台中数据质量,业务质量监控及管理办法。

  岗位要求:

  1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

  2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

  3. 精通大型数据库Oracle、SqlServer等的开发。

  4. 精通java,Python中的一种或多种语言。

  5. 熟悉容器、虚拟化、微服务框架等相关技术。

  6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。

  7. 熟悉R,Python,SAS、SPSS等数据挖掘经验者优先。

  8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。

  9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。

大数据平台架构师岗位职责 第28篇

  职责:

  1、大数据平台的规划、设计、实施,并优化数据库;

  2、对数据库进行管理,负责数据库应用系统的运营及监控;

  3、对数据库性能分析与调优,排错,保证数据正确率;

  4、配合其他部门进行的数据处理、查询,统计和分析工作;

  5、完成公司下达的项目开发任务。

  任职要求:

  1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;

  2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;

  3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;

  4、熟悉C++、Java、C#等开发语言;

  5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

  6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

  7、快速处理系统突发事件的能力,较强的学习和创新能力;

  8、良好的沟通能力和团队合作精神。

大数据平台架构师岗位职责 第29篇

  职责:

  1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

  2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计

  3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型

  4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队

  岗位要求:

  1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;

  2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

  3、熟悉统计学基本原理,做过实战的数据建模项目;

  4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;

大数据平台架构师岗位职责 第30篇

  职责:

  1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

  2.面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

  3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

  4.指导团队成员开展数据仓库建设。

  5.参与重点项目的评审,参与企业数据管理体系建设。

  任职要求:

  1.统招本科及以上学历。

  2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验 ,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验 。

  3.具有一定数据模型和数据架构基础,熟悉hadoophive和常用数据库。

  4. 精通SQL,有一定的SQL性能调优经验,熟悉hive sql的开发。

  5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

  6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

  7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

  8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

  9.全日制普通本科毕业。

大数据平台架构师岗位职责 第31篇

  职责:

  1、负责大数据平台的技术选型,基于Spark、Hadoop大数据平台建设和开发;

  2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

  3、构建数据中台,为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

  4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

  5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计,支撑解决方案实施。

  任职要求:

  1、本科及以上学历,具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

  2、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

  3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用,并能进行性能调优;

  4、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战。

大数据平台架构师岗位职责 第32篇

  职责:

  1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;

  2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;

  3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

  4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

  岗位要求:

  1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;

  2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;

  3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

  4、对数据敏感,洞察力强,了解国内外广告发展趋势;

  5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;

  6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。