最新hadoop运维工作内容 hadoop开发工程师薪资(19篇)
在日常的学习、工作、生活中,肯定对各类范文都很熟悉吧。大家想知道怎么样才能写一篇比较优质的范文吗?以下是我为大家搜集的优质范文,仅供参考,一起来看看吧
hadoop运维工作内容 hadoop开发工程师薪资篇一
2.保证hadoop/spark平台各核心服务运行的稳定、高效;
3.对hadoop/spark平台运维不断优化,提升数据产品的质量和响应速度;
4.开发各种hadoop大数据自动化运维与监控工具;
5.平台大数据环境的部署维护和技术支持;
6.应用故障的处理跟踪及统计汇总分析;
7.应用安全,数据的日常备份和应急恢复。
hadoop运维工作内容 hadoop开发工程师薪资篇二
职责:
1.监控并分析系统的运行状况,监控结果并定期报告,提出系统的优化方案与建设建议。
2.系统事件响应与系统维护:进行系统事件的响应,分析,进行系统故障的判断并与供应商商讨合理解决方案,并提供定期报告。
3.系统变更(含上线前测试与上线):完成公司信息系统的系统变更/升级,进行应用系统软件相关厂商进行审核,上线前测试等,确保服务质量。
4.系统非功能测试(性能与容量)与维护。参与集中交易类系统非功能的测试与调优。
5.容灾维护与演练:参与数据备份、容灾方案的维护与演练。
岗位要求:
1.大专或以上学历,至少1年以上券商工作经验;优秀的应届本科毕业生也可以考虑;
2.有良好的协调沟通能力,负责与系统供应商之间进行沟通
3.熟悉“工作系统”所列举的部分相关系统;
4.熟悉linux系统基本操作;
5.熟悉tomcat应用及部署
6.熟悉oracle、sqlserver数据库基本操作。
7.学习能力强,有较强的责任心、团队合作意识及敬业精神;
hadoop运维工作内容 hadoop开发工程师薪资篇三
职责:
1、负责windows、linux系统平台下的各服务应用部署,日常维护分析解决;
2、改进业务监控方式,辅助完成持续实现7*24全链路监控;
3、针对服务器出现紧急故障或时间,需及时响应并处理解决;
4、负责数据中心应用系统搭建、优化和日常维护,以及服务器操作系统、应用系统、数据库系统的维护和优化;
5、有进行过自动化,容器方面的独立操作;docker,k8s,jenkins的部署和操作经验丰富
6、按规范流程执行,并周期完善;
【岗位要求】
1、大专以上学历,计算机网络相关专业,二年以上相关工作经验;
2、具有良好的沟通能力、文档编写和文字表达能力、学习钻研能力、问题分析与解决能力;
3、熟悉shell编程,熟练掌握其他python 或 perl其中一个;
4、熟悉消息队列、zabbix、jenkins、redis、docker、k8s、git等软件的配置管理及应用;
5、熟悉mysql,sqlserver 数据库安装、配置;
6、有运维自动化平台相关经验者优先;
7、细心、负责任、上进心、分享、协作,良好自我提升学习驱动意识态度。
hadoop运维工作内容 hadoop开发工程师薪资篇四
职责:
1、负责线上线下服务器部署,优化整个大规模应用架构的设计、实施、后期疑难问题解决。
2、熟悉分布式存储运维,为大数据和云服务提供可靠的运维保障。
3、完善自动监控报警系统,对业务层面关键指标进行监控与报警通知。
4、负责系统运维的执行、设计及流程优化及运维相关的文档、手册、流程编写整理。
5、负责实施项目的服务器部署、系统环境搭建、数据备份、日志分配、系统监控、性能优化、故障排除、系统巡检、生产问题排查等,并配合各相关部门完成运维工作。
6、为开发、测试、产品等相关人员提供各类研发环境的支持性工作,如:基础资源准备、系统环境搭建及日常维护、网络资源协助等工作。
7、发现现有业务架构中存在的性能问题,并进行全方位的性能优化
任职要求:
1、5年以上互联网或相关行业工作经验。
2、熟悉linux操作系统、体系结构,熟练掌握python/shell/perl等一至两种语言。
3、熟悉常见应用配置及优化,如lvs/haproxy/apache/tomcat/nginx/dns/redis等。
4、熟悉常用的日志及监控系统,如 zabbix、grafana、elk等。
5、熟悉vmware、kvm等各种技术化技术,有生产环境docker管理和运维经验者优先。
6、熟悉主流云平台(aws、阿里、华为云等)产品及技术特性,软件定义网络技术(openstack neutron、sdn)或虚拟计算技术(kvm、cloudstack、container),对iaas 平台构架有深层次的了解。
7、精通mysql数据库管理、监控和备份,主从搭建配置等,熟悉nosql数据库。
8、具有较强的troubleshooting能力、且能够推动业务问题改善和解决。
9、具备良好的团队协作精神,较强的学习能力和沟通能力。
hadoop运维工作内容 hadoop开发工程师薪资篇五
职责:
1.服务器及应用的安装、部署、维护、更新、监控等;
2.服务器相关资产管理;
3.负责处理平服务器台各类故障,问题快速定位和解决;
4.服务器日常运维,应用等自动化、标准化、平台化;
5.领导安排的其他相关工作。
职位要求:
1.本科及以上学历,,具有2年以上linux运维经验,计算机、通信、信息技术等相关专业。
2.熟悉主流硬件,服务器dell、hp、ibm等。对unix/linux等操作系统有一定了解;
3.有安装调试服务器的经验,包括机架式服务器上架,做硬件raid,安装操作系统等;
4.至少熟悉一种自动化运维工具,ansible、 puppet、saltstack,无人值守kickstart等;
5.至少熟悉一种虚拟化云平台技术,vmware,kvm,citrix,xen,openstack等;
6.良好的沟通能力、学习能力、团队意识、积极的工作态度;
hadoop运维工作内容 hadoop开发工程师薪资篇六
职责:
1. 负责阿里云平台的ecs服务器与rds数据库的安全和维护工作;
2. 从网络安全、主机安全和数据安全、电子交易等安全层面进行网络拓扑设计;
3. 对现有运行网站的系统制定安全审计、维护制度,并监督执行;
4. 配合技术总监,共同组建完整的互联网安全防护措施;
5. 负责公司员工电脑的技术支持(如解决网络、邮箱配置、病毒查杀、办公软件排错等)
6. 负责公司各类终端机、打印机、扫描仪等外设的维护。
任职要求:
1.沪籍,男,大专以上学历,计算机应用技术、计算机网络技术及其相关专业,5年以上工作经验;
2.计算机基础知识扎实,对各种电脑软件、硬件的安装和维护有良好的经验;
3.熟悉主流服务器、云服务器配置及网站部署中间件(iis/apache/nginx),熟悉windows server、linux系统,路由器等网络设备,并了解网络设备调试使用;
4.熟悉tcp/ip协议和网络安全体系,对于企业局域网搭建有一定的经验;
5.熟悉sql server/oracle基本语法,对互联网编程语言有一定的了解。
hadoop运维工作内容 hadoop开发工程师薪资篇七
职责:
1、协助实施运维部经理组织实施运维技术团队的管理、部门工作分配;
2、组织实施运维部人员履行项目内容,完整把控整个项目及实施各阶段,并调动组员积极能动性,对其工作进行监督检查;
3、做好与公司其它部门的协调工作;
4、组织安排部门工作所需的技能培训,提高团队的知识水平。
任职要求:
1、大学本科及以上学历;
2、高度的责任感和事业心,服从公司领导,坚决贯彻执行上级领导指示;
3、具有计算机sm系统运维技术经验,具有运维团队的管理经验;
4、有坚实的专业技术功底,具备解决技术难题的能力;
5、具备优秀的团队组织、协调沟通和综合管理能力;
6、具备良好的语言沟通、文字表达和独立处理问题能力;
7、具备良好的抗压能力;
hadoop运维工作内容 hadoop开发工程师薪资篇八
职责:
1、负责公司大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;
2、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;
3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
4、负责hadoop/spark/mysql等集群服务、业务监控、持续交付、应急响应、容量规划等。
任职要求:
1、3年以上互联网运维相关工作经验,2年以上大数据平台运维相关工作经验;
2、具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;
3、熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flume/impala/hue/sqoop/elasticsearch/kibana/mysql/oracle等;
4、熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;
5、熟悉 kubernetes(k8s) 集群 docker 在大数据环境场景的使用;
6、熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务
7、有java开发经验和阅读源码能力者优先。
hadoop运维工作内容 hadoop开发工程师薪资篇九
职责:
1、负责服务器维护、优化、调试;
2、负责游戏业务部署、新版本发布、服务端变更;
3、负责监控游戏业务的运行状况,及时处理游戏运行中出现的故障,保障游戏服务正常;
4、负责与游戏项目组及研发沟通,对业务运营环境中存在的问题进行定期反馈和推动改善;
岗位要求
1、1年以上互联网产品的系统运维经验,大专及以上学历;
2、熟悉linux操作系统日常维护、优化;
3、熟练掌握linux下应用服务的维护,包括apache/nginx/mysql/redis/php/dns等;
4、熟悉掌握主流监控应用(zabbix/nagios),并有一定的自定脚本开发功能;
5、了解熟悉主流自动化运维配置工具(puppet/saltstack/ansible);
6、熟悉至少一种脚本编程语言(shell/pythen/php等脚本语言),能编写完成日常工作使用的自动化工具;
7、精通mysql数据库,有大数据、高并发数据库开发维护经验;
8、具备良好的沟通能力和团队合作精神,高度的责任心;
hadoop运维工作内容 hadoop开发工程师薪资篇十
职责:
(1)参与规划设计、性能优化建议及实施方案编制。
(2)负责行业重点客户的核心高端设备的高级保障,提供运维保障优化数据依据及对应建议、参与方案制定;负责日常运维的质量、进度保障;
(3)提供重难点技术问题的高级技术支持。对重点客户提供相关网络知识、我司运维体系、保障体系以及网络优势等内容专项培训及交流工作;
(4)编制交付客户的运维相关报告及例行汇报、会议沟通;
(5)负责为行业客户提供在特殊时期或场景(如会议、银行系统升级等)的保障服务方案落地及高级技术保障服务,事后总结分析等,确保保障顺利完成。
(6)负责客户重点问题的落地及汇报;
(7)项目所需的其它技术类支撑工作。
中级任职资格:
(1)技术要求:具有ict项目、集客业务、数通产品维护、传输专线等业务维护工作经验;
(2)有解决方案编写能力,熟悉word,excel,visio,powerpoint等文档编辑工具;
(3)具备业务管理能力,熟悉集客业务,具备故障协调、支撑流程优化等各项工作能力与经验;
(4)学历要求:大学专科及以上学历,具有良好的沟通和协调能力,具有很强的执行力;拥有中级项目经理证书、ccnp思科认证网络高级工程师、系统集成项目管理工程师任意一本证书优先考虑;
(5)具备一定项目管理经验、运营商沟通经验者优先。
hadoop运维工作内容 hadoop开发工程师薪资篇十一
职责:
游戏服务器的部署,更新和维护
游戏服务器的性能调优
后台数据统计分析
gm工具开发和维护
任职要求:
一年以上linux运维经验,游戏行业优先
熟悉nginx服务器配置及性能优化(负载均衡、反向代理、ssl等)
熟悉memcache、mongo数据库部署,优化及常规查询操作
熟悉kafka配置及调优
能够接受python开发
熟悉linux系统下常规服务的配置、优化、维护工作
hadoop运维工作内容 hadoop开发工程师薪资篇十二
1. 遵循发布、变更流程,负责系统建设和运维工作,保证其高效、稳定工作
2. 负责服务系统的网络架构与安全规划,部署实施、线上系统日常的运维变更;
3. 搭建和维护业务系统的运行环境,服务器架设、网络及安全配置、系统软件安装配置及优化、灾备方案实施等;
4. 持续完善监控告警、故障排查。对业务系统做好监控报警,及时发现业务系统异常,并快速止损恢复,保障系统服务7x24稳定运行。
5. 优化和完善现有运维流程及规范;
6. 基于高效的原则,进行必要的自动化系统和工具的建设。
7. 根据业务发展和运行情况,对业务系统的部署进行架构调整和优化
8. 针对业务特点设计出能够支撑大规模服务集群的运维体系,优化运维成本和效率
9. 定期评估和审核计算机系统有关数据库的安全状况,关注网络安全动态,堵塞网络安全漏洞,消除网络安全隐患,确保数据访问的畅通运行
10. 负责网络安全相关应急响应工作,跟进外界最新 ddos/cc 攻击趋势,调优公司相应的防御水平
hadoop运维工作内容 hadoop开发工程师薪资篇十三
职责:
1. 负责app、公众号服务平台的服务器日常运维,包括:app产品后台、应用系统、数据库、操作系统的部署、迁移,及运行异常状况排除;
2. 新产品/服务、功能模块的部署上线,日常运维状况监控、优化工作;
3. 执行服务器系统的例行检查测试,并分析运行数据,提供系统使用、维护的建议;
4. 配合产品研发部门,参与整体系统的架构规划、性能优化。
任职说明:
计算机相关专业大学本科以上学历,具有扎实的计算机基础理论知识;
熟练使用linux/windows等常见操作系统,熟悉zabbix、nagios、cacti等开源监控工具,熟练使用shell、python其中一种脚本语言,熟悉虚拟化技术xen、kvm;
熟悉java环境及nginx、tomcat、jboss、redis、memcached等常见常见应用服务,熟悉mysql及oracle数据库的安装、配置、灾备等;
熟悉各种云架构服务(例如阿里云、腾讯云、aws等云部署环境)
hadoop运维工作内容 hadoop开发工程师薪资篇十四
职责:
1、技术保障各底层支撑系统的可靠性与稳定性;
2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;
3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;
4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率
任职资格:
1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk,hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;
2、熟练使用linux、tcp/ip网络协议栈,了解常用的troubleshooting手段和常见性能指标
3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;
4、熟悉主流paas云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;
5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;
6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。
hadoop运维工作内容 hadoop开发工程师薪资篇十五
职责:
1、负责应用系统的审核、部署、发布、监控、维护和优化;
2、参与自动化运维平台的探索、设计;
3、负责突发事件管理,问题跟踪与管理,保障系统24×7稳定运行;
4、负责日常运维文档的撰写整理工作;
5、负责运维技术难点的攻关;
任职资格:
1、全日制大专及以上学历,3年以上基础架构、系统运维、互联网业务运维相关工作经验;
2、深入掌握unix/linux系统的使用,熟悉tcp/ip协议相关知识;
3、深入了解运维体系结构设计、系统性能优化、ci/cd方案设计落地;
4、熟练使用linux下tomcat、lvs、nginx、kafka、elk、jenkins、git、rabbitmq、zabbix等常用软件。
hadoop运维工作内容 hadoop开发工程师薪资篇十六
职责:
1、协助公司完成现场桌面终端问题的接单响应,问题处理闭环工作,常见桌面问题支持主要是耗材、电脑、设备、应用服务软件管理等各类问题;
2、在客户现场办公,协助上级与客户保持良好的沟通,跟进客户反馈问题的各个环节,确保桌面运维工作顺利实施;
3、问题需要团队协作,能完成工单派发,及业务数据统计;
4、公司知识库及问题库的录入及持续完善工作。
5、协助上级开展的其他工作。
岗位要求:
1.计算机、电力电气、管理类、工程类、自动化类相关专业,大专及以上学历,3年以上运维服务相关工作经验,具有网络工程师、信息安全工程师等职业资格证书优先;
2.了解it服务管理系统及呼叫系统;
3. 熟悉桌面终端运维,运维资源处理,日常软硬件运维,以及故障消缺、提供技术支持等,具备较强的分析和解决问题能力。
hadoop运维工作内容 hadoop开发工程师薪资篇十七
职责:
负责公司大数据业务集群的运维工作、集群容量规划、扩容及性能优化;
设计实现大规模分布式集群的运维、监控和管理平台;
参与业务架构设计,在设计阶段给出可运维性改进建议;
深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
负责公司大数据平台的应用监控、容量管理,应急响应等;
领导安排的其他工作。
任职要求:
1、本科及以上学历,软件工程、计算机等相关专业;
2、熟悉计算机原理、网络原理等知识;至少2年以上运维或开发工作经验;
3、搭建,管理及调优hadoop/hbase/hive/flink/spark/kafka/elasticsearch/flume等开源项目优先;
4、至少掌握java/python/go中的一种语言;
5、熟悉hbase/flink/mysql/redis运维优先;
6、熟悉zabbix/graphit/grafana加分;
7、具有很强的分析和解决问题的能力;
8、具有攻克难题的强烈兴趣,以及提升技术能力的意愿;
9、善于主动学习,责任心强,能够承受较大的工作压力。
hadoop运维工作内容 hadoop开发工程师薪资篇十八
职责:
1、负责服务器硬件维护及操作系统安装、配置、调优;
2、负责公司内部苹果系统、mac/windows存储系统的安装、配置及维护;
3、负责公司exchange邮件系统的维护;
4、合理规划服务器负载、有效管理存储设备;
5、日常维护服务器已有应用,排查故障;
6、合理分配各员工权限,并做好监督管理工作;
6、根据公司需求,搭建新的应用;
7、完成上级交办的其他事宜。
岗位要求:
1、至少3年以上it运维支持经验;
2、熟悉windows server / linux / mac等操作系统及服务器群的设置、维护;
3、熟悉zabbix的运维监控;
4、熟练掌握vm虚拟化;
5、熟悉ad、exchange、ntp、weblogic、nginx、apache等应用环境的配置、调优;
6、熟悉san / xsan、nas存储系统,系统配置、故障判定及调优;
7、熟悉使用shell和一种语言脚本(php/python/perl)为佳;
8、熟悉cdn推送流程及维护。
hadoop运维工作内容 hadoop开发工程师薪资篇十九
职责:
1、负责所在区域一卡通系统售后维护、存续业务、系统巡检、产品咨询、产品知识库的建立、故障判断与解决的服务工作。
2、负责协助制定一卡通系统实施方案,参与协助项目技术谈判。
3、负责协助所在区域一卡通系统项目的实施、培训、验收及回款工作。
4、与售前工程师紧密合作,与客户交流,提供技术顾问服务,充分理解客户需求,编写项目计划。
5、完成上级领导交代的其他工作
岗位要求:
1、计算机、通讯工程、电子相关专业,大专及以上学历,具有良好的计算机技术基础。
2、责任心强,良好的沟通能力,团队协作精神强,服从组织和领导对工作的安排和要求。
3、具备良好的团队合作意识;吃苦耐劳,勤奋刻苦,主观能动性强,能够适应长期出差。
4、熟练掌握windows操作系统和sql server数据库,熟练使用各类数据库操作命令。
5、熟练掌握unix、linux等操作系统和oracle大型数据库。
6、熟练掌握project、visio等项目管理工具。
7、具有较强的文档编写能力。