2023年大数据运维工程师的岗位职责(十一篇)
无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编帮大家整理的优质范文,仅供参考,大家一起来看看吧。
大数据运维工程师的岗位职责篇一
1. 负责公司核心集群的运维工作,保证其高可用和稳定性。
2. 负责集群容量规划、扩容及集群性能优化。
3. 深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的hadoop运维技术及发展方向。
4. 设计实现分布式集群的运维、监控和管理平台。
职位要求:
1.2年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验。
2.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验。
3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。
4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。
4.熟悉kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。
5.有cloudera的cm使用经验尤佳。
大数据运维工程师的岗位职责篇二
职责:
1.负责公司大数据业务集群的运维工作(hadoop/hbase/hive/presto/yarn/spark/storm/kafka/elasticsearch/flume等)确保高可用;
2.负责大数据平台的日常部署、升级、扩容、迁移;
3.设计实现大规模分布式集群的运维、监控和管理平台;
4.参与业务架构设计,在设计阶段给出可运维性改进建议;
5.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
6.兼顾应用系统的运维工作。
任职要求:
1.要求掌握java、shell语言,有spring cloud微服务架构开发经验的优先;
2.了解docker,可以做简单应用;
3.熟悉hadoop/hbase/hive/storm/spark/kafka/elasticsearch/flume等开源项目优先;
4.熟悉linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题;
5.掌握puppet、kerberos应用的优先;
6.良好的客户服务意识,强烈的责任心和使命感,执行力强,富有团队合作精神;
7.对大数据方向运维有很高的热情和兴趣,能主动学习了解相关知识;
大数据运维工程师的岗位职责篇三
职责:
1、负责公司大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;
2、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;
3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
4、负责hadoop/spark/mysql等集群服务、业务监控、持续交付、应急响应、容量规划等。
任职要求:
1、3年以上互联网运维相关工作经验,2年以上大数据平台运维相关工作经验;
2、具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;
3、熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flume/impala/hue/sqoop/elasticsearch/kibana/mysql/oracle等;
4、熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;
5、熟悉 kubernetes(k8s) 集群 docker 在大数据环境场景的使用;
6、熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务
7、有java开发经验和阅读源码能力者优先。
大数据运维工程师的岗位职责篇四
职责:
1、负责公司服务器日常的维护,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;
2、负责公司大数据产品的现场实施,制定可靠的实施方案;
3、负责公司大数据环境(hadoop生态)集群环境安装、维护、部署、优化;
【任职资格】
1、至少2年服务器、大数据集群运维经验;
2、精通linux运维命令,熟悉linux的维护和管理,熟悉shell脚本开发,能看懂python/scala优先;
3、熟悉大数据项目实施:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境;
4、熟悉docker技术优先;
5、熟练使用git版本控制,jenkins持续集成工具优先;
6、具备强烈的进取心、自我学习能力,良好的沟通能力和团队合作意识。
大数据运维工程师的岗位职责篇五
职责:
负责公司大数据业务集群的运维工作、集群容量规划、扩容及性能优化;
设计实现大规模分布式集群的运维、监控和管理平台;
参与业务架构设计,在设计阶段给出可运维性改进建议;
深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
负责公司大数据平台的应用监控、容量管理,应急响应等;
领导安排的其他工作。
任职要求:
1、本科及以上学历,软件工程、计算机等相关专业;
2、熟悉计算机原理、网络原理等知识;至少2年以上运维或开发工作经验;
3、搭建,管理及调优hadoop/hbase/hive/flink/spark/kafka/elasticsearch/flume等开源项目优先;
4、至少掌握java/python/go中的一种语言;
5、熟悉hbase/flink/mysql/redis运维优先;
6、熟悉zabbix/graphit/grafana加分;
7、具有很强的分析和解决问题的能力;
8、具有攻克难题的强烈兴趣,以及提升技术能力的意愿;
9、善于主动学习,责任心强,能够承受较大的工作压力。
大数据运维工程师的岗位职责篇六
职责:
1.负责it日常桌面运维工作,处理电脑及打印机、投影仪等办公设备各种软硬件故障,以及软件系统的安装配置等;
2.负责办公网络(包括有线网络、无线网络)的维护与支持;
3.配合进行it资产管理,机房日常检查等工作 。
任职要求:
1、大专及以上学历,计算机相关专业;
2、具备优秀的计算机软、硬件知识,熟练掌握windows、mac及常用办公软件的安装配置和维护管理;
3、能独立分析处理常见的故障;
4、 具备网络基础知识,熟悉路由交换技术,并能对cisco、华为、h3c等厂商设备安装与调试,了解弱电工程及综合布线。
大数据运维工程师的岗位职责篇七
职责:
实现基于服务,应用的自动化部署;
建立和完善面向服务器,应用的监控和报警技术和机制;
实现可靠的公司运维服务,保证平台7*24小时的稳定运行;
针对公司面向各个地区的核心业务设计并实现弹性的运维保障。
岗位要求
理解运维体系结构,精于容量规划、架构设计、性能优化;
熟悉服务管理、单元部署、自动扩容等运维系统建设;
熟悉故障、监控、预案、扩容工作原理;
理解linux、apache,tomcat,nginx系统原理,具备问题分析和快速处理能力;
熟悉shell,python,perl等脚本类编程工具,并有使用提升效率案例;
对运维工作保持自我驱动的热情,可以响应和处理各种线上运维问题;
具备很强的分析和解决问题的能力,擅长使用工具实现自动化,对于重复问题“0”容忍;
具备系统化排查问题思路,爱折腾,爱分享,优秀的团队协作及沟通能力。
大数据运维工程师的岗位职责篇八
职责:
1.负责软件系统日常维护工作,确保系统安全运行;应用环境的各类服务软件的搭建和维护工作;
2.负责参与软件的培训与实施上线工作;
3.负责系统运维,日常软件故障排除、系统优化、安全优化、网络故障诊断及排除等各类技术故障处理;
4.负责对客户在线支持、软件运行过程中问题解答、应急现场支持等;
5.对已有的运维项目进行维护、更新及管理;
任职要求:
1.计算机相关专业,大专及以上学历;1-3年相关经验
2.了解计算机网络、硬件及常用软件的相关知识;熟悉数据库的基础知识;
3.具备较强的沟通、合作能力;有强烈的责任心,工作踏实认真、积极主动;善于思考,学习能力强,能够快速掌握专业知识;
4.熟练操作oracle或者mysql者优先。
5.熟悉一门开发语言者优先,如java等。
大数据运维工程师的岗位职责篇九
职责:
1、 负责公司网络运维产品的技术支持服务,包括售前支持服务和技术服务;
2、 协助销售经理进行售前技术支持服务,深入挖掘客户技术需求,为客户提供相应解决方案,提供产品测试技术支持;
3、 负责网络运维产品的解决方案、实施方案、投标书等文档编写工作。
4、 协助市场部的技术类相关工作。
任职要求:
1、 大学本科及以上学历,计算机相关专业(优先)。
2、 两年以上技术支持经验,精通计算机网络技术,对网络运维管理有一定的认知。
3、 熟悉tcp/ip协议原理,有网络管理软件技术支持工作经验者优先。
4、 良好的沟通能力和客户服务意识;
5、 优秀的文档组织和编写能力
大数据运维工程师的岗位职责篇十
职责:
1、负责服务器部署,优化整个大规模应用架构的设计、实施、后期疑难问题解决;
2、熟悉分布式系统运维,为大数据和云服务提供可靠的运维保障;
3、协助搭建完善高可用集群环境,负责mysql、redis、kakka等集群运维,以及负载均衡系统运维;
4、负责网络、服务器、交换机、路由器、防火墙等软硬件的安装、配置、调试维护和管理;
5、协助完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;
6、及时处理服务器宕机、病毒感染、黑客入侵等异常突发事件。
职位要求:
1、3年以上运维经验,精通linux操作系统以及服务器群的网络搭建、设置和维护;
2、熟悉网络安全监控、系统性能管理和调试、网络性能管理;
3、精通mysql数据库管理、监控和备份,集群搭建配置等,熟悉mongodb、cassandra等一种以上nosql数据库;
4、熟悉服务器、存储系统、路由器、交换机、负载均衡等网络设备的搭建、配置、监控维护,具有网络维护、排障和系统化解决问题能力;
5、有自动化运维平台构建经验,熟悉ansible、puppet、saltstack、zabbix、ganglia、cacti等开源工具的使用,并能够根据需求扩展;
6、负责系统运维监控体系建设,有大规模主机监控经验者优先;
7、有hadoop、spark、docker等经验者优先考虑。
大数据运维工程师的岗位职责篇十一
1。网络推广、网站seo优化、网络营销策划、网站编辑、网页设计、php后台程序修改、网站流量提升及后期广告投放获取收入等。
2、熟悉网络联盟的广告投放、效果跟踪、分析,以及新闻媒体如搜狐、凤凰网的新闻稿投放,品牌和企业宣传,网络危机公关等。3、 熟悉网店的维护管理。负责产品的上下架,会员管理,活动促销等。
4、sns营销:新浪微博和微信公众号的营销、加粉、软文写作、推广。
5、网站的软文、新闻稿,网站的内容seo优化及维护更新。
6、拥有丰富的互联网工作经验,熟悉互联网和网站的运营及盈利模式,以及移动互联网营销推广等。
7、网络在线咨询,访客来源分析、产品销售。
8、计算机维护、局域网管理、网络信息安全防范、网站和服务器漏洞修补、数据备份与恢复等。