面向多源大数据云端处理的成本最小化方法

来源：软件学报杂志2017年第3期北京时间：

作者：肖文华,包卫东,朱晓敏,邵屹杨,陈超,Jianhong Wu

单位：肖文华，国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 41007311,包卫东，国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 41007302,朱晓敏，国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 41007303,邵屹杨，国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 41007304,陈超，国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 41007305,Jianhong Wu，国防科学技术大学 信息系统工程重点实验室, 湖南 长沙 410073;Department of Mathematics and Statistics, York University, M3J1P3, Canada06

摘要：云计算为大数据处理提供了一种强大而高效的解决方案.在此模式下，数据管理者（data manager，简称DM）可以租用多个数据中心实时处理地理分散的数据.然而，由于数据产生的动态性以及资源价格的波动性，将数据迁移至哪些数据中心并提供合适的计算资源来处理它们，成为DM低成本处理多源数据的一大问题.首先，将以上问题转换成联合随机优化问题；然后，利用李雅普诺夫（Lyapunov）优化框架将原问题分解成两个独立的子问题进行求解；最后，基于求解结果设计在线算法.理论分析结果表明：所提算法可不断趋近线下最优解，并能够保证数据处理时延.在WorldCup98和Youtube数据集上的实验验证了理论分析结果的正确性以及该方法的优越性.

关键词：大数据处理;多数据中心;数据管理;数据迁移;资源供给

基金资助：国家自然科学基金（61572511）；海外及港澳学者合作研究基金（11428101）；国防科学技术大学科研计划（ZK16-03-57，ZK16-03-09）；西南电子电信技术研究室公开课题（2015014）