2023年大数据开发工程师工作职责(20篇)
人的记忆力会随着岁月的流逝而衰退,写作可以弥补记忆的不足,将曾经的人生经历和感悟记录下来,也便于保存一份美好的回忆。范文书写有哪些要求呢?我们怎样才能写好一篇范文呢?下面我给大家整理了一些优秀范文,希望能够帮助到大家,我们一起来看一看吧。
大数据开发工程师工作职责篇一
1、负责数据分析、加工、清理、处理程序的开发;
2、负责数据相关平台的搭建、维护和优化;
3、负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;
岗位要求:
1、本科学历须211院校以上,硕士及以上学历不限院校,计算机软件及相关专业
2、熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识;
3、熟练使用hadoop、hbase、kafka、hive、spark、presto,熟悉底层框架和实现原理;
4、使用spark streaming和spark sql进行数据处理, 并具有spark sql优化经验;
5、需要有至少2年开发经验,有flink开发经验优先;
6、学习能力强,喜欢研究新技术,有团队观念,具备独立解决问题的能力。
大数据开发工程师工作职责篇二
职责:
1、负责大数据平台的基础环境搭建与性能优化,完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;
2、对各种开源框架进行深入的代码剖析和优化;
3、参与大数据技术方案评审;
4、指导初中级大数据工程师工作;
岗位要求:
1、计算机相关专业全日制专科及以上学历,具有3年或以上的分布式计算平台研发工作经验;
2. 对大数据相关组件:hadoop、spark、hbase、hive、flink、kafka、flume等架构与底层实现有深入理解,具备相应的定制和研发能力,尤其需要精通flink框架;
3. 具备构建稳定的大数据基础平台的能力,具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;
4. 对技术有热情,有不错的数据思维和敏感度,有一定的数据分析能力优先,对深度学习、机器学习有一定的了解优先;
5. 工作有计划性,责任心和执行能力强,具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。
大数据开发工程师工作职责篇三
职责:
1、大数据日志分析系统的设计,选型和开发;
2、配合各业务给予数据支持,对产品和运营数据总结和优化;
3、处理用户海量数据,提取、分析、归纳用户属性,行为等信息,完成分析结果;
4、发现并指出数据异常情况,分析数据合理性;
5、公司大数据基础架构平台的运维,保障数据平台服务的稳定性和可用性;
6、大数据基础架构平台的监控、资源管理、数据流管理;
7、基于数据分析的可预测的云平台弹性扩展解决方案。
任职要求:
1、日志分析数据系统实际经验;
2、3年以上互联网行业研发经验,有使用hadoop/hive/spark分析海量数据的能力;
3、掌握 hadoop、flume,kafka、zookeeper、hbase、spark 的安装与调试;
4、熟悉大数据周边相关的数据库系统,关系型数据库和 nosql。
5、掌握 linux 操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;
6、有良好的沟通能力,具备出色的规划、执行力,强烈的责任感,以及优秀的学习能力。
大数据开发工程师工作职责篇四
职责:
1、数字货币领域数据统计分析,负责数字货币量化投资策略的设计、管理以及实际投资运作
2、与交易员对接,制定切实可行的的策略测试计划,开展新策略模型的开发和验证
3、协助交易员进行交易、风险管理,并对实际交易结果进行量化的绩效分析,推动交易自动化
4、上级交办的其他工作
任职要求:
1、数学/计算机/金融专业毕业,有扎实的算法和机器学习的理论基础
2、有量化实盘交易经验,具备丰富的数学建模经验及较强的数据处理能力优先
3、对金融市场的价格波动有独特理解和深入的量化分析,具备一定对冲策略研究经验;
4、对数字货币领域感兴趣,结果导向;
5、有网页抓取和爬虫程序编写经验者优先。
大数据开发工程师工作职责篇五
职责:
1.参与大数据平台搭建以及项目技术架构。
2.数据分析,挖掘,模型具体的产品化;
3.根据产品需求,分析编写和制定大数据相关解决方案
岗位要求:
1、计算机相关专业本科以上学历,编程基础扎实,有2年以上大数据开发经验
2、熟悉hadoop生态和体系架构,熟悉flink、spark,hive等常用开源工具
3、熟悉flume,kakfa,scribe等日志收集体系
4、熟悉主流数据库(oracle、postgresql、mysql、sql server)中的1种及以上,有较好的sql性能调优经验
5、有数据仓库etl经验者优先
6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先
7、有持续学习的能力;喜欢开源软件,乐于知识分享;对工作认真负责;可以独立承担较大工作压力
大数据开发工程师工作职责篇六
职责:
1、根据产品需求和设计完成兼容性良好的前端页面制作,与后台工程师协作;
2、完成数据交互、动态信息展现,实现数据可视化;
3、拥有良好的设计审美;
4、基于html5的webapp界面开发;
5、保持代码的高可靠性和可维护性。
任职资格:
1、熟练使用html5、html、css,css3等页面结构和布局;
2、熟练使用响应式页面开发,屏幕自适应;
3、熟练使用jquery、javascript,能独立开发;
4、精通web标准页面开发,能实现兼容主流界面(ie8及以上、ff、chrome等主流浏览器);
5、熟悉前端页面代码结构、前端交互性能,页面结构和页面布局,对语义化、结构与内容分离、用户体验有一定的理解;
6、至少有angular、vue之一开发经验。
大数据开发工程师工作职责篇七
职责:
1、负责产品的设计和开发工作;
2、参与项目的系统、功能分析和评审;
3、根据需求文档完成相应的模块设计、开发、优化、单元测试、集成和发布;
4、根据项目要求及上级分配的任务,承担系统功能开发,并按计划完成任务目标;
5、编写所负责的模块的接口文档,制作负责模块的系统架构图,梳理业务流程,并编写相关文档,编制与项目相关的技术文档;
6、独立完成软件系统及模块的编码;
7、协助测试人员完成软件系统及模块的测试;
任职要求:
1、java基础扎实,了解jvm原理,熟悉网络、多线程编程
2、熟悉java web等后端开发技术,比如spring mvc、 mybatis等,掌握spring及周边,mybatis,maven等开发技术,熟悉或参与过springcloud微服务项目优先;
3、了解分布式系统相关技术,如分布式缓存、消息队列等中间件
4、有高并发、高可用、微服务等开发经验者优先
5、熟悉数据库基本原理,熟练使用mysql、nosql(如mongodb,redis)等常用的数据库系统,有较强的数据库设计能力;
6、可以承担较高强度的开发工作;
7、有传统中小学教育行业工作经验优先考虑。
大数据开发工程师工作职责篇八
职责:
1)参与项目需求分析和设计;
2)完成软件系统代码的实现,编写代码注释和开发文档;
3)完成功能模块代码的实现及单元测试,确保系统性能、质量和安全;
4)向初级组员提供引导、支持并管理日常活动。
5)负责撰写所负责模块的相关文档等。
岗位要求:
1)计算机相关专业,熟悉java常用框架,有3-5年java开发经验;
2)参加过3-5个java项目,独立承担过java项目开发或java项目核心模块开发.
3)熟悉主流数据库oracle、sqlserver、mysql,熟悉数据库结构及设计;
4)有一定的编写需求分析说明书、概要设计、详细设计的能力,能够进行原型设计。有工业信息化项目背景优先,比如mes、erp、wms、lims,设备数据采集、物料等
5)具有很强的学习和独立分析能力、工作责任心、良好的沟通能力和团体合作精神。
大数据开发工程师工作职责篇九
职责:
1、有较强的需求理解能力,根据需求编写代码和单元测试;
2、遵循编码规范,及时完成项目管理组分配的开发任务,保证项目开发进度;
3、配合测试对所开发项目进行集成测试、缺陷修复等项目品质保证的相关工作;
4、对所负责项目进行代码优化、功能维护、性能维护、需求变更和协助系统部进行系统维护、系统优化以及相关的项目维护工作。
任职资格:
1、大学本科及以上学历,3—5年工作经验;
2、扎实的java基础,熟悉j2ee、servlet、jsp、spring mvc、spring、mybatis、js、css等技术;
3、熟悉oracle、mysql数据库管理、开发;
4、熟悉应用服务器和开发工具,如tomcat等,能对目标系统进行优化配置;
5、有互联网、供应链开发经验者优先;
6、良好的文字表达能力;
7、有强烈的求知欲、优秀的自我学习能力、熟悉流行的开源项目;
8、工作积极主动,具有强烈的责任心、事业心,具有良好的沟通能力、团队配合精神。
大数据开发工程师工作职责篇十
职责:
1、负责公司服务器的日常维护,包括idc机房服务器和云服务器;
2、系统日常调整和故障处理,保证网站的高并发和高可用性,遇到故障及时定位并找出解决办法;
3、负责日常监控系统的搭建和完善;
4、对运营系统的运行状况进行性能分析,提出可行性的优化和改进方案;
5、编写相关技术文档及操作说明;
6、负责运维平台的开发,推进自动化运维体系建设。
任职要求 :
1、本科及以上学历,1-3年linux运维相关经验;
2、熟悉python开发,能够进行自动化运维工具及页面的开发;
3、熟练使用shell,perl等脚本语言并具备较强的开发能力。
4、熟悉数据库常用的sql命令,有一定的sql优化能力;
5、熟悉nginx/apache/tomcat等web应用服务器部署、优化;
6、熟练使用saltstack,zabbix或openfalcon;
7、熟练使用相关工具进行网络故障诊断,熟悉iptables,vpn等网络工具。
8、具有kvm虚拟化环境、公有云平台使用经验,有docker应用经验优先;
9、有较好的学习能力和沟通能力,有强烈的责任感,对新技术充满好奇,乐于分享。
大数据开发工程师工作职责篇十一
职责:
1、负责公司项目的二次开发和维护工作;
2、参与软件需求分析,进行模块设计、代码编写、单元测试等工作,对软件质量负责;
3、参与app、网站架构、性能、安全、扩展等优化的设计和实现。
岗位要求:
1、三年以上php后端开发经验,原生或框架开发都可适应;
2、熟悉js前端开发,有丰富客户端开发经验;
3、熟悉mysql数据库,及各种sql语句操作,能独立设计合理高效的表结构,;
4、熟悉微信开发接口,有微信公众号、开放平台、小程序等项目开发经验;
5、熟悉微信支付支付宝支付等在线支付接口,具有商城或团购开发经验;
6、具有优良的编程风格和习惯,技术输出结构清晰、命名规范、逻辑性强、代码冗余率低;
7、了解linux相关操作命令。
大数据开发工程师工作职责篇十二
1、参与软件产品项目规划工作;制定具体实施方案;
2、整合并优化项目开发所需各种资源;
3、参与软件系统的设计和分析;
4、对现有的系统进行优化、维护和升级
5、负责软件开发技术和规范及标准流程的改进;
6、根据开发进度和任务分配,完成相应模块软件的设计、开发、编程任务;
7、参与方案讨论和技术调研,负责方案升级,更新及后期技术支持
8、熟悉ssh等开源技术框架下的web开发,熟悉springmvc技术的基本使用。
9、熟练使用javascript、extjs等前端技术。
10、精通oracle、mysql数据库,精通sql语句应用,熟练掌握数据库基本性能优化。
大数据开发工程师工作职责篇十三
职责:
1.参与基于lnmp的网站架构设计与开发;
2.参与网站服务器性能优化工作,如数据库优化,缓存优化,分布式集群等;
3.参与日常网站业务开发工作,包括后台与前端。
任职要求:
1.统招计算机相关专业本科学历以上;
2.扎实的编程基础(c/c++,数据结构,算法),3年以上网站开发经验;
3.精通php+mysql编程以及主流的php框架(yii2,zend),熟悉面向对象编程及mvc模式;
4.熟练掌握xhtml、css、span、javascript、jquery等前端页面技术;
5.学习能力强,热爱技术,宽广的技术视野;
6.强烈的责任感和良好的团队合作精神;
7.有数据库优化、高并发互联网应用开发经验优先;
8.掌握多门语言,双端开发者优先。
大数据开发工程师工作职责篇十四
职责:
1、开发和移植游戏到网页平台
2、和游戏设计师紧密合作,实现游戏设计师的设计。
3、优化游戏代码,保证游戏质量。
4、预估工作时间,安排工作计划,配合团队的计划和管理
岗位要求:
1、2年或以上h5游戏开发经验;
2、熟悉至少一款h5引擎(egret、cocos2dx-js、layabox等),了解各引擎特点,相关工具和环境,至少使用某款h5引擎开发过一款游戏;
3、熟悉面对对象编程的概念,有javascript、actionscript或typescript开发经验;
4、熟悉 websocket 和 http 等网络协议,熟悉 json丶protobuf 等数据协议;
5、有优化包体大小、游戏运行效率、游戏体验的经验;
6、熟悉休闲竞技游戏的开发模式和优化原理,确保游戏在表现效果上和性能上有突出表现;
7、与策划、美术等合作团队进行沟通协调,满足开发需求
8、熟悉webgl和计算机图形的相关知识。
大数据开发工程师工作职责篇十五
职责:
1. 根据公司业务需求,进行数据开发及报表制作;
2. 参与bi、大数据平台体系建设;
3. 文档整理,包括er图、原型设计、数据字典整理等;
岗位要求:
1. 本科或以上学历,计算机相关专业,2年及以上工作经验;
2. 熟练使用主流数据库(如oracle/postgresql/mysql等),掌握sql查询优化方法;
3. 熟悉hadoop生态,能够熟练使用hive/hbase/spark进行数据开发;
4. 掌握java或python,会tableau/kylin/帆软等bi工具者优先;
大数据开发工程师工作职责篇十六
职责:
1、负责建行公有云定制化产品的管理平台和自动化集成平台开发
2、负责云基础产品建行定制特性功能开发
3、能够了解客户业务需求,提供解决方案及技术建议方案;
4、就公司产品能在技术层面向客户进行讲解和培训;
5、撰写技术支持文档或功能使用文档,配合新产品测试,提供测试反馈;
6、开发工具,对接平台接口,参与平台工具脚本的编写。
岗位要求:
1. 本科以上学历,计算机相关专业,3年以上后台开发经验
2. 熟悉linux系统管理维护,熟悉http协议、tcp/ip网络协议;
3. 熟练使用shell脚本语言,以及python开发语言及mysql
4. 具备良好的合作精神和快速学习能力;
5. 熟悉uwsgi + flask 服务框架,熟悉nginx,mysql等中间件
6. 有云平台运维经验者优先(阿里云、aws 等)、有持续集成及持续部署经验者优先、有日志管理经验者优先、熟悉 openstack技术者优先、有ansible开发经验者优先
7. 有互联网运维开发经验者优先
大数据开发工程师工作职责篇十七
职责:
1、负责平台系统的开发工作;
2、参与系统设计以及核心代码的编写;
3、处理日常发现的问题,配合各部门需求完成系统流程优化工作;
4、 参与重大项目的技术方案设计及技术评审,把握复杂系统的设计,确保系统的架构质量;
5、 为团队引入创新的技术、创新的解决方案,用创新的思路解决问题。
任职要求:
1、大专及以上学历,计算机相关专业,具有5年以上web/php开发经验;
2、熟练掌握 html/css 和 javascript 等 web 开发技术,熟练掌握 php语言,熟悉数据库mysql,拥有优秀的数据库设计能力, 熟悉php安全开发规范;
3、有在线教育类项目开发经验优先,能处理高并发;
4、熟悉设计模式和算法,深入了解php的性能最优化和安全最大化;
5、为人诚实正直,工作主动,有强烈的责任感和事业心。
大数据开发工程师工作职责篇十八
职责:
1、负责linux下高性能、高可用方案的集群化部署,如lvs+keepalived、缓存varnish、nginx,memcached,双机热备等;
2、负责公司大规模服务器部署的策略制定和系统优化工作等;
3、负责线上系统层面稳定性保障,系统监控,内核升级,安全事件处理等;
4、负责各类应用软件(nginx、apache、tomcat、squid等)的安装和维护;
任职要求:
1、2年以上运维或开发经验;
2、有lvs集群、nginx、redis等中间件安装和部署经验优先;
3、熟悉tcp/ip/http等通信协议,熟悉常用抓包工具且会分析报文的优先;
4、熟悉golang/python/java等任意一门编程语言;
5、熟悉自动化工具puppet、ansible、saltstack等的部署和使用优先考虑;
大数据开发工程师工作职责篇十九
职责:
1、 负责公司云计算业务相关系统的开发、升级、优化工作。
2、 参与相关业务逻辑后台架构设计、系统建模、数据库设计、核心代码的编写及后台服务程序的研发和编写。
3、 独立完成完整功能测试和发布,准备相关的技术文档,协助解决各种技术问题。
4、 进行详细设计、代码开发,配合测试,高质量完成项目。
5、 按照项目计划,按时提交高质量代码,完成开发任务。
任职资格:
1、 2年以上php开发经验;精通php + mysql,熟悉oop编程思想和mvc框架,有整体项目开发经验。
2、 熟练使用javascript,jquery熟悉ajax、json数据交互,对mysql数据库有丰富的经验及熟悉优化。
3、 熟悉php缓存技术、了解高并发、负载均衡处理技术。
4、 有移动开发经验,能完成主流应用工具接口的二次开发,能为业务提供接口支持者优先。
5、 有良好的编码习惯,具有高度的责任心、良好的沟通能力和团队协作精神。
大数据开发工程师工作职责篇二十
职责:
1. 从事数据中心、游戏运营后台等相关功能与系统的研发;
2. 根据公司产品发展方向,研发新系统;
3. 参与后端基础服务的开发、实现;
职位要求:
1. 两年以上相关工作经验,有游戏从业经验经验者则优先考虑
2. 熟悉php的面向对象编程,了解linux操作系统;
3. 熟悉关系型数据库mysql,拥有优秀的数据库设计与优化能力
4. 熟悉memcache、redis等缓存系统,对服务器端程序的部署、架构、调优有一定的了解;
5. 熟悉常用开发框架thinkphp、laravel;
6. 熟悉html/css/js,了解html5/css3/bootstrap;
7. 了解python,具备web自动化设计思维(加分项)
8. 拥有良好的代码习惯,结构清晰、命名规范、逻辑性强、代码冗余率低,有撰写详细的编码注释的习惯;