大数据工程师的岗位职责(16篇)
每个人都曾试图在平淡的学习、工作和生活中写一篇文章。写作是培养人的观察、联想、想象、思维和记忆的重要手段。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。
大数据工程师的岗位职责篇一
1、 参与ods系统或hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ods层设计、基础数据层设计、汇总层设计等);
2、 参与etl mapping设计及开发工作;
3、 参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。
资质要求:
1.计算机相关专业本科及以上学历,优秀者放宽至大专;
2.有大型数据库(oralce/mssql server等)开发经验,有sybase iq\hive\spark sql开发经验者优先;
3、有较强的sql编程能力,熟练编写存储过程,能设计各种复杂的业务处理、统计分析语句,精通sql性能优化;
4、具有数据仓库、ods、bi商务智能项目经验者优先,具有金融行业项目背景者优先;
5、较好的沟通理解能力,态度踏实,积极上进。
大数据工程师的岗位职责篇二
1、负责数据仓库和大数据处理模块的架构设计和开发;
2、负责实现基于spark框架的分布式计算框架的设计和开发工作;
3、负责spark技术研究和通用数据平台的性能调优;
4、负责大数据项目中,基于kafka、flume、spark streaming、spark sql等相关技术的海量数据的处理、分析、统计、挖掘工作。
5、熟悉scala/java语言,对scala/java原理、底层技术有深入研究者优先;
6、有过海量数据系统开发经验者优先;
7、熟悉hadoop/spark生态系统组件的使用,至少有2年以上的spark开发经验;
8、写过推荐系统的优先考虑
大数据工程师的岗位职责篇三
职责:
1、独立负责工作小组,并对下级成员进行监督;
2、具备资源整合以及对软件项目全局把控的能力;
3、负责软件项目的系统设计和需求分析;
4、制定软件项目开发计划,并按时完成功能模块的设计、开发以及编程任务;
5、积极配合并完成主管下达的任务,并能够对软件部门的发展规划提出意见;
任职条件
1、大数据相关开发经验3年以上,至少具备2年以上java开发经验;
2、有基于hadoop的数据抽取、转换、加载的开发相关经验;
3、熟练掌握hadoop生态的相关知识,如hive,hbase,,storm,spark,mapreduce等;
4、熟悉linux操作系统。熟悉linux各项基本操作,至少掌握一门脚本语言;
5、熟练数据仓库,对多维数据建模有深入理解;
6、有bi数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;
7、思维敏捷,有较强的钻研学习能力,较好的沟通能力、团队合作;
大数据工程师的岗位职责篇四
职责:
1.负责金融银行大数据系统相关模块的数据架构及研发实施工作
2.依据业务场景、分析需求提供技术解决方案并加以实现;
3.与客户业务部门对接,解决数据建模、报表和报告在系统开发遇到的问题;
任职资格:
1.具备3年以上dw系统建设经验,了解bi系统,有数据管理经验,有维度建模相关经验,了解数据仓库建设过程中的挑战与问题
2.精通多系统数据融合、清洗、转换、整合,具备海量数据加工处理相关经验
3.熟悉业界数据仓库建模方法、元数据管理、数据质量体系管理
4.掌握大型数据库开发技术(oracle/db2等),有丰富的数据库模型设计和优化经验
5.熟练掌握unix/linux常规命令、工具及shell编程
6.掌握一门或多门编程语言优先,如java、python、scala等
7.熟悉hadoop、spark、kafka等大数据生态相关技术,有相关实践经验着优先8.良好的语言沟通与表达能力和自我驱动动力9.具备银行项目设计、开发、优化等经验者加分
大数据工程师的岗位职责篇五
职责
1、负责公司大数据平台建设工作,完成hdaoop/spark搭建部署,根据业务需要进行开发;
2、开发实现网络爬虫并爬取所需数据,有效存储到大数据平台;
3、对平台数据做预处理,满足数据展现及后续机器学习等系统使用;
4、根据业务需要,应用大数据实时分析技术、可视化技术等,并对平台发展规划进行设计。
任职资格
1、本科及以上学历,计算机相关专业;
2、熟悉数据仓库和数据建模相关技术细节,有编程经验,熟悉sql/hadoop/hive/hbase/spark等大数据工具;
3、具备海量数据处理经验,或有互联网行业数据挖掘工作经验;
4、1年以上岗位经验优先,本科应届有意向的,可优先培养。
大数据工程师的岗位职责篇六
职责:
1、完成软件的设计、开发、测试、修改bug等工作。
2、撰写相关的技术文档。
3、参与业务需求的沟通,功能模块详细设计,业务功能实现与单元测试,系统维护等工作。
4、对代码质量如执行性能、可读性、可维护性负责
5、独立的解决和分析开发过程中的问题
6、完成上级安排的其他临时性工作。
岗位要求:
1、计算机相关专业专科以上。
2、精通java语言,熟练使用myeclipse,熟悉linux平台的程序开发。
3、熟悉面向对象编程原理,数据结构和算法基础扎实。
4、熟悉j2ee相关技术,掌握spring、spring mvc、mbatis/hibernate等常用应用开发框架。
5、掌握web前端技术,熟悉html、css、javascript,有jquery、bootstrap、vue使用经验者优先。
6、熟悉mysql/oracle等常用关系型数据库,精通sql,能够对sql进行优化。
7、了解分布式计算、nosql技术,有实际应用经验者优先。
8、有spring boot、spring cloud、git、redis、java8等相关使用经验者优先。
9、思维敏捷,具备良好的表达能力和沟通能力,pmp/acp/csm优先。
10、工作认真负责,有强烈的责任感和吃苦耐劳精神,具有良好的团队合作精神,具有强烈的事业心和责任感。
大数据工程师的岗位职责篇七
职责:
1、按计划完成公司产品的设计、开发以及测试等工作,解决产品的技术问题,促进产品的实施落地;
2、负责对产品的功能、性能、安全、稳定等相关方面进行优化;
3、根据业务发展,对现有产品进行调整、重构;
4、对团队的代码规范、质量负责;
5、撰写相关技术文档;
6、其它技术事务的支持及上级安排的工作任务。
任职要求:
1、全日制统招大学本科学历,计算机或相关专业,优秀应届生或1年以上相关工作经验均可;
2、java基础扎实,熟悉面向对象编程思想;
3、熟悉网络编程,io、nio相关知识,了解tcp/ip协议;
4、熟悉常用集合类,对算法和数据结构有一定了解;
5、了解常用设计模式;
6、掌握spring,spring boot的使用,swing、awt使用;
7、mysql、sqlserver使用及优化;
8、能承受一定工作压力,沟通理解能力强,能适应出差。
大数据工程师的岗位职责篇八
职责:
1、负责h5游戏客户端开发;
2、负责游戏开发设计,保证模块的可行性、游戏性和稳定性;
3、负责移动浏览器及微信上的性能调优;
4、规划游戏开发流程,协同并跟进开发工作。
【任职资格】
1、2年以上游戏开发经验;
2、精通js语言,并有良好的编程习惯,熟练掌握面向对象编程思想;
3、熟悉html5引擎,如cocos,白鹭egret,能独立开发;
4、了解h5游戏性能优化,有完整的h5游戏开发经验;
5、愿意学习和接受新知识,新事物,对攻关疑难问题具有深厚兴趣;
6、具备良好的敬业精神和团队精神。
大数据工程师的岗位职责篇九
职责:
1.、负责平台web前端和webapp端设计和开发;
2.、设计和实现面向开发者的平台套件和功能组件;
3、通过前端自动化构建工具和测试工具,对现有模块进行完整构建和测试;
4、完成前端核心模块的相关文档;
5、2年以上web应用程序开发经验,至少1年web站点的实际开发经历;
6、与设计师、产品工程师紧密工作在一起,负责产出高质量的产品前端层;
7、在理解前端开发流程的基础上,结合前端实际建立或优化提升工作效率的工具;
8、参与多种平台的应用开发,包括web及mobile等产品,负责前端交互的实现。
任职要求:
1、熟练掌握web及h5前端开发技术,有复杂应用开发及性能调优经验;
2、能充分理解项目需求和设计需求,具有一定研发精神,能解决各种未知问题;
3、能熟练高效手工编写html及css、js代码,熟悉span+css布局,确保代码对各种
浏览器的良好兼容性;
4、熟练掌握一种以上js框架vue或是react 技术栈,了解 webpack的使用和原理,对
http协议有一定理解;
5、熟悉git版本管理和了解git-flow;
6、、redux、react native;
7、有开源项目经验优先,熟悉服务器端语言者优先;
8、了解模块化、前端编译和构建工具;
大数据工程师的岗位职责篇十
职责:
1、参与项目需求分析,进行系统框架和核心模块的详细设计;
2、根据项目开发进度和任务分配,开发相应的软件模块;
3、根据公司技术文档规范编写相应的技术文档;
4、负责公共服务平台的系统分析和架构设计,通过对现有系统的分析,确定系统架构方案,对各个子系统完成架构搭建;
5、分析系统瓶颈,解决各种疑难杂症,对系统进行性能调优;
6、解决项目中的关键架构问题和技术难题,负责项目中关键技术难点的攻关;
岗位要求:
1、大学本科以上学历,计算机及相关专业;
2、精通javaee架构、设计模式,精通javascript,有丰富的b/s或c/s多层架构开发经验;
3、精通spring、sringmvc、mybatis、spring boot2.0等主流开源框架,并熟悉其核心思想、实现原理;熟悉主流底层中间件、分布式技术;精通gradle或maven等;能熟练使用 rational rose、powerdesigner、axure 等设计工具;
4、熟悉linux/unix环境;精通oracle、ms sql server、mysql等至少一种数据库,并熟练应用tomcat或weblogic等应用服务器;
5、5年以上java开发经验, 有大中型应用系统核心模块开发的成功经验;
6、熟悉mysql及oracle等数据库使用、设计、调优,对数据库索引有较深刻的理解;
7、具备良好的表达能力、服务意识和高度的责任心、团队意识和合作能力、能独立解决技术问题,有较强的创新意识;
大数据工程师的岗位职责篇十一
职责:
1、负责企业运营、产品研发、市场营销、供应链、大数据应用等五大领域的应用开发与运维(前端)
2、负责搭建前端开发框架,并在项目中推广
3、负责开发和维护前端公用组件和模版,并做好相应的版本控制。
4、负责制定相关前端技术规范,参与项目中的代码评审和检查;
5、收集与梳理项目中的遇到的前端技术问题、在小组内及时反馈并参与制定相关的解决方案;
岗位要求:
1.统招专科及以上学历
2.2年及以上web前端开发经验;
3.熟练掌握html5、css3、es6、vue、react等前端开发技术;
4.精通各大浏览器兼容性问题处理、精通请求优化及加载优化;
5.对用户体验、交互操作流程、及用户需求有深刻的理解;
6.有服务端后端开发经验者优先。
大数据工程师的岗位职责篇十二
职责:
1、负责公司内部业务系统的开发;
2、参与需求分析,与用户沟通,为用户问题提供解决方案;
3、参与系统设计、编写文档;
4、按照工作流程,完成开发过程中的单元测试、评审、代码或文档交付等工作。
任职资格:
1、本科及以上学历,2年及以上java开发经验
2,、java基础扎实,理解io、多线程、集合等基础知识,对jvm有一定了解;
3、熟练使用eclipse开发工具;熟悉jsp、servlet等web开发相关技术;
4、熟练使用struts、spring、hibernate/mybatis等常用开发框架;熟悉主流应用服务器如weblogic、tomcat中至少一种;
5、熟练html、css、javascript和ajax技术;
6、熟悉主流数据库(如oracle,mysql),熟练使用sql语言;
7、有从事保险相关系统开发经验或者有相关保险业务知识的优先。
大数据工程师的岗位职责篇十三
职责:
1)参与项目需求分析和设计;
2)完成软件系统代码的实现,编写代码注释和开发文档;
3)完成功能模块代码的实现及单元测试,确保系统性能、质量和安全;
4)向初级组员提供引导、支持并管理日常活动。
5)负责撰写所负责模块的相关文档等。
岗位要求:
1)计算机相关专业,熟悉java常用框架,有3-5年java开发经验;
2)参加过3-5个java项目,独立承担过java项目开发或java项目核心模块开发.
3)熟悉主流数据库oracle、sqlserver、mysql,熟悉数据库结构及设计;
4)有一定的编写需求分析说明书、概要设计、详细设计的能力,能够进行原型设计。有工业信息化项目背景优先,比如mes、erp、wms、lims,设备数据采集、物料等
5)具有很强的学习和独立分析能力、工作责任心、良好的沟通能力和团体合作精神。
大数据工程师的岗位职责篇十四
职责:
1、根据开发设计说明书,进行系统/模块的软件编码工作;
2、根据软件开发具体要求,承担开发任务,编制软件开发说明文档,按计划完成任务目标;
3、完成项目编码实现、单元测试,协助测试人员完成模块测试,修复测试提交的bug;
4、完成上级分配的其他工作任务。
任职要求:
1、通信、电子、计算机网络等相关专业,大学本科及以上学历;
2、具有1年及以上java开发经验;
3、对html、javascript、jsp、servlet等有深入的了解;
4、熟悉structs2、spring、mybatis等开源框架;
5、熟悉计算机相关基础知识,对网络通讯概念有一定的了解;
6、对软件产品有强烈的责任心,具备良好的沟通能力和优秀的团队协作能力。
大数据工程师的岗位职责篇十五
职责:
1、依据业务需求逻辑和功能模块的设计思路,负责平台项目产品的开发和技术文档的撰写,并主导实施。
2、监控系统运行健康状态,及时优化系统性能,支持产品应用服务。
3、参与软件质量审查,提升开发质量和效率。
4、完成项目的核心编码,支撑企业soa服务化设计和实施,配合项目主管做好项目管理 。
5、参与部分产品的架构预研并做技术分享 。
6、全程参与产品的需求分析、设计、开发以及测试几个阶段 。
任职资格:
1、计算机相关专业本科以上学历。
2、2年以上java项目开发经验;有过大型项目经验优先考虑。
3、java基础扎实、理解jvm原理、有多线程、并发系统开发经验的优先考虑;熟悉jsp、jquary、javascript/ajax。
4、熟悉主流开源框架,如spring、spring mvc、elasticsearch等;
5、掌握分布式系统原理和实践,出色的工程意识和架构设计能力。有soa架构开发经验优先。
6、优秀的分析问题和解决问题的能力。
7、责任心强,做事细心 、有恒心和毅力、具备良好的团队合作精神和承受压力的能力。
大数据工程师的岗位职责篇十六
职责:
1、 参与数据库设计、规划等工作;
2、 参与数据库开发、etl开发等工作;
3、 知道数据库运维人员完成数据入场运维工作,如数据调度监控、问题分析及处理、数据查询统计等工作;
4、 完成上级交办的其它工作
任职资格:
1、 两年以上数据路处理、运维等相关工作经验;
2、 熟悉主流数据库技术(如oracle,sqlserver,ix,sybase等)至少一种;
3、 熟悉函数、存储过程等数据库开发;
4、 有etl开发的实际经验,熟悉kettle,datestage,powercenter,cdc等工具优先;
5、 有参与大型项目数据库设计或开发经验优先;
6、 良好的团队协作、沟通能力、学习能力,工作踏实、积极主动、认真负责。