当前位置:首页 > 淘宝 > 基于大数据技术运维自动化平台技术研究

基于大数据技术运维自动化平台技术研究

关键词:   发布时间:2019-04-26 07:00:01

现代企业信息化已经发展到一个大数据时代,特别是大型企业的信息系统建设的规模非常庞大,硬件规模达上万甚至数万台,涉及到主机、存储、网络设备、安全设备、操作系统、数据库、中间、各种应用系统,企业的运营离不开这些信息系统,如何运维好这些系统,仅靠人工运维已经满足不了企业的信息化发展了,随着信息技术的不断创新,本文研究企业现有信息系统现状和IT新技术应用提出新的尝试,利用大数据分析技术构建企业信息化自动化运维平台,满足和推动大型企业信息化支撑保障。

一、大规模信息化运维面临的问题

(1)企业信息化规模越大,信息系统的数据量就越大,面对大量系统运行(日志)数据如何处理,涉及到数据来源、数据格式、数据接口等,多种多样的数据,如何收集存储,是信息运维面临重要问题。

(2)如何监控各种设备、软件运行情况,实时感知IT各种资源的运行状态。

(3)如何通过数据采集和监控软件实现对信息系统运行的数据进行分析,对异常信息进行分类、统计、告警。

(4)怎样降低人为干预,通过对告警信息进行分析处理,使用预定义规则、机器学习等新技术实现自动化处理信息系统的故障。

二、解决思路

(1)调研企业信息化资源,明确企业现有的设备、软件现状,分析各种资源提供数据采集的接口、数据格式,动态管理企业信息化设备、软件台账。

(2)梳理各种数据类型,对数据进行归类,确定告警规则。

(3)数据采集、数据处理软件的技术选型,选择合适的软件技术满足当前及未来一段时间的信息化运维需要。

(4)根据目前软硬件设备资源,编制自动化运维工具库(处置脚本),根据告警规则采取不同的自动化脚本,在没有人工干预的情况下自动实现问题的修复。

三、方案设计

整个系统设计主要包含:数据采集、数据处理及存储、异常预警、自动化处置(含自动化脚本工具库)等。

(1)数据采集,为了尽可能满足对所有数据能进行采集,数据采集部分设计要考虑到数据来源、格式的多样化,因此需要设计能针对不同数据来源和格式的多适配器采集前端,根据有针对性的调研,目前企业信息化建设一般都会涉及到如下设备和软件,如下图:

 根据上图进行分析,首先建立设备及软件资源台账,明确企业的IT资产,有完善的台账管理,针对不同设备、软件台账的配置数据采集器,满足数据采集和监控的需要,目前通用的采集监控协议sshsnmpsyslog、文本文件等。

(1)数据处理、存储

    数据处理是本文重点需要解决的技术,要满足对大量数据快速处理的要求,目前业界主要使用的技术有hadoopMapReduceSpark,首选技术为hadoop,在hadoop平台下,HBASE数据库是一个分布式KV数据库,属于实时数据库范畴,支付宝目前支付记录就是存储在HBASE数据库中。

(2)异常预警

     对采集到的数据进行处理后,按照规则匹配,对于异常数据进行甄别、筛选,通过前端告警展示,建立企业统一的监控运行告警中心。

(3)自动化处置

自动化处置是信息化运维未来发展的主要方向,随着人工智能技术的不断进步,利用一些AI算法,实现对绝大部分设备和软件在没有人工干预的情况下进行自动修复处置,本节还需要关注的重点是自动化处置工具库的建设,判断预警信息,给出处置指令,指令执行依赖于处置工具库的完备性及稳定性。

通过对以上方案的设计,总结基于大数据技术运维自动化平台整体架构图如下:


 

四、总结

       本文从总体架构上进行了设计,具体的技术细节还需要深入的进行探讨和分析,目前大数据应用在各种各样的应用场景,在大数据分析的应用过程中,可视化通过交互式视觉表现的方式来帮助人们探索和理解复杂的数据。可视化与可视分析能够迅速和有效地简化与提炼数据流,帮助用户交互筛选大量的数据,有助于使用者更快更好地从复杂数据中得到新的发现,成为用户了解复杂数据、开展深入分析不可或缺的手段。


相关内容
分享 2019-04-26 07:00:01

0个评论

文明上网理性发言,请遵守新闻评论服务协议