2014年3月大数据被首次写入政府工作报告,到2018年中国信息通信研究院结合对大数据相关企业的调研测算,2018年我国大数据产业规模为6200亿元,同比增长31.9%。
2018年5月28日,新华三集团作为数博会的官方合作伙伴,承办了中国国际大数据产业博览会的技术产业创新板块中的“实践行业数据引擎 融汇数字未来” 论坛,探讨了大数据技术在行业数字化转型中起到的作用,人才培养的必要性,以及未来发展的趋势;特别关注了大数据整体解决方案场景化的落地和实践。
在论坛的最后环节,新华三发布了机器数据分析决策系统,这个系统通过对机器设备产生的流量、日志、系统运行参数等机器数据进行分析,实现了对网络服务质量的评价,实现对应用的智能化保障,通过对流量趋势进行分析,实现了全网流量的智能调度,并实现对机器设备的可预测性维护。
网络新引擎,会学习,能思考
“在大数据的巨大版图中,机器数据作为增长最快、最复杂也最富含价值的大数据中的一种,占到将近7%的市场份额,这也是新华三发布机器数据分析决策系统的因素之一”, 新华三大数据产品部部长曹言分享了此次产品发布的市场价值。
在企业进行数字化转型的过程中,如何将面向设备和线路的传统监测转型成为面向数字业务的多维感知与洞察,正是新华三这款机器数据分析决策系统的能力所在。
新华三大数据产品部副部长鞠达勇强调,通过多维度采集机器数据之后,系统能够将数据进行关联以及特征提取,通过新华三覆盖金融、政府、税务、教育、医疗、企业、旅游、公安以及环保等多个行业的DataEngine数据引擎平台,比对模型数据库之后,可以进行机器训练,并且通过Nomal模型进行异常检测,从而辅助业务人员进行分析预测,最终做出决策。这也使得机器数据分析决策系统这个网络的新引擎有了学习和思考能力。
机器数据,能检测,会分析
对于运维人员一直“无从下手,弃之不可”的网络流量数据以及机器设备日志数据,曹言用了两个用户实例来说明其价值。
某部委通过对网络访问流量及网络设备日志采集,利用聚类算法分析,发现其中一些用户的异常访问行为,比如短时间高频次访问某些应用系统,发现这些异常行为后进而限制这些不合规的访问行为。机器数据分析决策系统能够根据历史流量建立用户访问行为的基线,一旦用户访问行为偏离基线时系统会及时报警。
另外一个实例是,2017年5月永恒之蓝病毒爆发期间,新华三的这套机器决策分析系统通过监测到流量的突变,跟历史流量基线做比对分析,提前帮助某部委封堵了相应的端口,阻止了病毒的进一步蔓延,实现了利用机器学习算法从流量的角度发现网络异常的目的。
曹言表示,新华三的机器数据分析决策系统未来会基于AI-Engine加强预测和推演能力,在现有的根据当前网络业务流量状态,以及历史大数据分析,准确预测未来网络业务流量态势分布和潜在风险。基于设备日志数据及系统运行参数的历史运维大数据的训练与学习,实现对设备故障的提前发现,提前预警,未雨绸缪地应对各类系统风险,进而保障上层业务平稳而连续。
最后,曹言分享了新华三机器数据分析决策系统在某部委的实际应用案例,新华三机器数据分析决策系统通过采集全网的流量、设备运行状态等多维数据作为数据分析来源。借助机器学习和数据挖掘技术,实现流量预测、拥塞分析、基线分析、异常分析等功能。通过对全量的网络流量数据和应用信息进行相应的梳理、归类,采用大数据的技术和理念进行深度分析,获得新的有价值的信息,将网络运维带入一个新高度。将从关注“网络通断”的传统运维提升到关注“网络流量内容”的智能化、精细化的管理,从原有的故障事后处理的被动响应转化为故障事前预测,有效避免异常的出现,实现网络的主动性预防。曹言表示,新华三机器数据分析决策系统已经在金融、公安、军队、电子政务、税务等多个行业有了成熟的实践。
来源:赛迪网