大数据分析与高速数据更新

来源：计算机研究与发展杂志2015年第2期北京时间：

作者：陈世敏,

摘要：大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统，尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发，讨论两项近期的研究工作：1)MaSM，在数据仓库系统中支持在线数据更新；2)LogKV，在日志处理系统中支持高速流入的日志数据和高效的基于时间窗口的连接操作.通过分析比较发现，存储数据更新只是最基本的要求，更重要的是应该把大数据的从更新到分析作为数据的整个生命周期，进行综合考虑和优化，根据大数据分析的特点，优化高速数据更新的数据组织和数据分布方式，从而保证甚至提高数据分析运算的效率.

关键词：数据更新, 大数据分析, 数据仓库, 日志处理系统, 数据组织与分布算法,