公司资讯
如何应对数据分析新的技术挑战
2019-10-12
目前,中国很多企业已经认识到他们的数据是一个潜在的巨大商机,越来越多的公司将数据视为其企业经营的关键资产,而数据分析普遍被作为经营决策的前提要素,数据现在越来越成为企业战略决策的重要依据。
企业数据分析应用趋势
从企业对大数据分析系统的需求和利用的实际情况来看,让企业每个业务人员充分了解和利用他们的数据,自由释放数据潜能。基本上,企业对数据的需求我们认为分为三个阶段:初级阶段,业务流程通过信息化手段,从纸质化改造成电子化,企业通过数据告诉必威体育者,企业已经发生了什么?中级阶段,企业已经建立和完整的业务系统,必威体育者能够定期从信息中获取他所关心的企业数据,知道了企业正在发生了什么?企业不仅仅只是希望知道过去发生了什么以及为什么发生,还希望进一步预测未来会发生什么,以及如何做才能优化资源配置,取得更好的成果。
数据分析技术面临的挑战
在日新月异且喜新厌旧的技术时代,企业已经认识到“数据 开始慢慢变成为了新的 “金子” 或者 “石油”,那么企业在数字化转型的浪潮中,如何通过大数据、云计算等先进的技术保驾护航?企业数据量从GB级增长到TB级,应用如何平滑演进?从数据仓库,到数据湖、数据共享平台,企业如何利用数字资产?这些都是企业在数字化转型过程中面临的问题。
我们可以发现现有的数据处理技术都存在着一定的缺陷。
早期应用的数据系统架构设计时,应用直接访问数据库系统,简单的存取数据就可以满足业务需求。但是,当用户访问量增加或是数据量不断增大时,从而导致数据库服务器无法及时响应用户请求,出现超时的错误。
当数据访问负载持续增加时,就需要考虑读写分离技术(Master-Slave)架构,以及分库分表技术。但读写分离和分库分表带来了应用层面的复杂性,应用程序需要在设计开发阶段就考虑到数据的拆分。分库分表后,不仅限制了查询的灵活性,并且随着数据量继续增长到PB级,单个数据库实例的处理能力会成为整个系统的性能瓶颈。
当基于分布式存储计算的大数据处理技术出现后,我们所面对的则是来自离线和在线的多个不同数据流,系统需要实时响应数据查询请求,还需要处理分布式系统的分区和复制问题,以及满足高容错、低延时和可扩展的要求,于是就有了lambda架构,但其也存在着不足之处:整体架构比较复杂,资源开销比较大,对软硬件的需求较高;很多分析场景实现困难,增加了应用开发难度;数据流水线较长,系统运维复杂。
通过以上可以发现,现有的数据处理技术都存在一定缺陷,在面对今天日益复杂的企业大数据分析需求时显得力不从心,如何采用架构技术来解决这些问题,这也是数据分析厂商所面对的挑战。