基于云平台的数据中心改造架构设计及关键技术

　　摘要：本文针对目前某军用数据中心的现状及需求，综合考虑军用信息系统的安全保密和系统防护等要求，依托虚拟专网，利用云计算、大数据技术对现有的数据中心软硬件资源进行整合，设计了一种数据中心云化建设方案，描述了数据中心建设的目标和建设思路，从虚拟化、海量数据分布式存取、两地三中心容灾以及大数据可视化方面给出了关键技术，并给出了应用模式。

　　关键词：数据中心,云计算,虚拟化

　　0引言

　　目前，在许多领域已有的数据中心建设上，大多按照传统方式各自独立，尚未形成整体联动、协调顺畅的一体化数据中心保障能力;在满足各业务系统的需求基础上，尚未从数据中心的数据体系建设的角度开展建设;分散独立多套体系并存，个别体系冲突的情况仍然存在[1]。

　　本文针对数据中心的资源统一管理、服务流程化及多中心跨域级联的需求，研究适用于军队的云数据中心架构，旨在满足数据、服务以及各类资源的管理和技术支撑要求，提高各类业务系统之间数据交换水平和利用率，自顶向下全面梳理、科学规划和设计，为后续数据云端汇聚融合共享奠定基础。

　　1国内外研究现状

　　近年来，云计算正在成为IT产业发展的战略重点，全球IT企业纷纷向云计算转型，依托于云计算大规模、虚拟化、通用性、高可靠性、高扩展性的特点，提升服务效率、提高系统稳定性、降低运营和维护成本。

　　基于云计算平台，数据中心建设也趋于分布式、智能化、自动化、安全可靠及绿色节能方向发展。AWS(AmazonWebServices)作为云计算的先入者，于2006年为企业提供IT基础设施服务(公有云业务)，在云中提供高度可靠、可扩展、低成本的基础设施平台，拥有丰富的细分产品和庞大的数据中心。

　　迄今，已为全球190个国家的成本上千家企业提供云计算服务，在全球16个区域部署了其数据中心。AWS提供了大量基于云的全球性产品，包括：计算、存储、数据、分析、联网、移动产品、开发工具、管理工具、安全性(KMS密钥管理服务)和企业级应用程序，旨在帮助组织快速发展、降低IT成本及进行扩展[2]。

　　VMwarevSphere是业界第一款云操作系统，是由虚拟化技术衍生出来的。vSphere能够更好的进行内部云与外部云之间的协同，构建跨越多个数据中心以及云提供商的私有云环境也将成为其基本功能。vSphere在功能和技术都不断的进行更新，目前的版本为6.5[3]。华为在业内率先提出分布式云数据中心DC2的技术理念和架构，除了华为已有的优秀硬件产品，还有来自软件的创新技术：云操作系统FusionSphere、整体端到端的数据中心网络CloudFabric和云数据中心管理ManageOne[4]。

　　阿里云的定位是公有云，创立于2009年，致力开发具有高度可扩展性的云计算与数据管理平台，提供安全可靠的计算和数据处理能力。飞天操作系统是阿里云公司自主研发的分布式计算平台，目前已在全球14个区域设有数十个飞天数据中心，利用自主研发的大规模计算操作系统飞天，将百万级服务器融合，以在线公共服务的方式为全球主要互联网市场功能提供一整套云计算服务[5]。

　　2总体技术架构设计

　　2.1系统组成

　　云数据中心提供纵跨IaaS层、PaaS层，横跨中心运维和安全保密的全面的功能和服务。云平台主要包括虚拟化平台、云管理平台、数据存储与分析、综合运维以及安全保密，具体如下：

　　(1)虚拟化平台：为云管理平台提供标准的RestfulAPI资源访问接口，支持对多个集群的计算、存储、网络资源进行池化、调度，提供分布式存储系统，支持对VLAN、VxLAN等多种网络模型进行适配和管理。

　　(2)云管理平台：依托虚拟化平台为上层业务系统提供态势统计、计算、存储、网络资源统一管理及跨集群资源调度等功能，提供资源按需分配、系统托管和业务快速部署的能力;为用户提供自服务管理、数据备份恢复及用户权限访问控制功能。

　　(3)数据存储与分析服务：为数据中心提供各类数据的采集、清洗、存储、管理、事务处理、分析、可视化等能力。由混合数据存储、分布式计算、智能学习平台等模块组成。

　　(4)综合运维：提供数据中心各类基础设施资源、数据库资源的统一监控、故障告警、事件分析与报表统计，提供日志审计、工单管理、问题与事件统计等运维服务管理功能，支持自定义阈值、资源自动发现、自定义监控对象、远程运行控制脚本与历史监控数据查询，并为云管理提供资源的运行状态、负载、告警信息等监控数据。

　　(5)安全保密：结合信息系统的安全保密要求，从物理安全、网络安全、虚拟机安全、数据安全及病毒防护等多个层次对数据中心软硬件资源进行防护，提升系统的安全性。

　　2.2总体技术架构

　　基于标准的云计算架构，依据云平台的系统组成。

　　2.2.1数据中心物理层

　　各级机构通过虚拟专网进行级联，实现资源的互联互通和权限控制;本级机构内部基于“同城双活+异地灾备”的两地三中心部署模式，实现平台及应用高可用和数据存储备份能力，保障数据中心的抗毁接替和业务系统的连续性[8]。

　　2.2.2IaaS层

　　基础设施即服务：包括底层的虚拟化平台和上层的云管理平台，虚拟化采用OpenStack和KVM对计算资源进行虚拟化，基于分布式存储构建存储资源池，利用SDN技术实现网络资源虚拟化和多种网络模型适配，基于容器虚拟化支撑上层业务应用的快速构建和部署。

　　云管理基于虚拟化平台层提供的计算、存储、网络、容器服务对IT资源进行全寿命周期管理;通过运维平台提供的监控数据，采用智能调度算法，提供基于策略的资源调度和迁移能力;采用在线备份与恢复技术实现信息系统的快速迁移及虚拟机故障恢复。

　　2.2.3PaaS层

　　平台即服务层采用分布式文件存储系统、分布式列组数据库、MPP数据仓库等分布式数据对数据进行存储;提供关系型数据库云服务，支撑已有信息系统数据库云化迁移;基于消息队列、流处理技术、实时分析、图计算、批量计算进行分析计算，通过运维平台进行资源统一调度;提供机器学习和深度学习框架，支撑自然语言处理、语音识别、人脸识别、视频目标跟踪等人工智能应用;提供数据访问、数据同步、数据迁移功能。平台服务整体采用微服务架构构建，所有服务均支持独立部署、按需、弹性扩展。

　　2.2.4SaaS层

　　软件即服务层依托IaaS层提供的虚拟资源，借助其提供的自动扩容等技术，实现资源随业务增长的动态扩展，通过灾备恢复功能实现应用级的高可用;借助PaaS层提供的分布式存储实现应用级的云存储，提供数据到云端的迁移。采用监控报警装置、防火墙、加密和病毒防护手段，从物理安全、网络安全和数据安全等传统的角度进行安全防范;在此基础上，针对虚拟化存在的安全威胁进行防护，包括：虚拟机安全、虚拟机镜像安全、虚拟机存储安全和安全组等。

　　2.2.6中心运维

　　采用zabbix分布式监控技术对中心各类基础设施进行监控告警，并分析统计，将数据上报给云管，实现资源的统一运维，支持SNMP、IPMI、ICMP、HTTP等多种监控协议，可适配、对接不同硬件厂商和操作系统的计算、存储、网络设备。

　　2.3应用模式

　　2.3.1信息系统迁移上云

　　由于原有信息系统的应用种类繁多、基础设施的复杂程度不同，信息系统对安全性、存储性能要求及基础设施环境的依赖程度也有所不同，考虑对现有数据的迁移，对原有系统的迁移上云流程。

　　2.3.2系统快速构建

　　针对可迁移的应用系统，采用在线备份技术，在保证数据和业务系统完整性的基础上，借助物理机转虚拟机(P2V)以及虚拟机转化技术(V2V)实现应用系统从原有物理环境到云端虚拟机的转化，突破应用系统的并发、在线迁移技术的研究，实现多台指定物理机在保证业务不中断前提下操作系统和业务应用的迁移。

　　针对不能迁移的应用系统，采用实时监控技术，利用客户端代理，实现业务系统的硬件信息、运行状态、服务状态和负载等采集、上报、展示，以便管理员迅速定位问题和优化资源分配，实现运维监控系统对各厂家、不同型号基础设施的适配。借助云数据中心的逻辑集群划分技术，对业务系统进行分类并划分逻辑资源池，便于资源容量的统计分析。

　　针对数据库和数据平台改造迁移，采用大规模实时分析、高并发实时查询、缓存、读写分离等技术，通过研究数据库及数据平台的云化改造手段和数据迁移机制，适配不同类型数据的云化迁移。云平台面向系统管理员和普通用户，提供资源按需申请及系统快速构建的能力，由普通用户按照所需配置申请资源，管理员进行审批并自动创建虚拟机，完成快速部署。

　　2.3.3业务容灾备份

　　采用“两地三中心(同城双活中心+异地灾备中心)”的容灾部署模式，解决数据中心和业务系统的容灾备份问题，通过在线备份与恢复服务为业务提供备份管理功能，保障业务的连续性，当出现故障时，可进行系统恢复。

　　3主要关键技术

　　3.1海量数据分布式存取技术

　　云数据中心为数据资源提供数据共享和交换服务平台，其需要组织和管理的数据资源类型多、规模大、分布广，传统的物理存储方式扩展性差，难以有效应对海量数据的存储管理。此外，传统的关系型数据库面对海量数据，其存取效率，扩展能力已经难以满足大规模数据存储和处理的需求，需要充分利用分布式并发存取和处理技术，实现海量数据的高可靠性、高性能存储、计算和检索功能，并支持存储规模的按需动态扩展能力。

　　为满足海量数据的可靠存取和高效处理需求，提供结构化、非结构化海量数据存储服务，提出了通用的海量数据分布式存取解决方案。海量数据分布式存取解决方案基于SAN网络存储、NAS网络存储和PC服务器集群构建，提供分布式文件系统、数据仓库集群和NoSQL数据库三种存储方式。分布式文件系统集成开源的分布式文件系统HDFS和网络文件系统NFS。

　　其中NFS采用操作系统提供的NFS服务实现，HDFS采用单NN-多DN主从架构实现。NoSQL数据库集成开源的内存键值数据库Redis、表格数据库HBase和文档数据库MongoDB实现。海量数据分布式存储融合接入陆、海、空、天、网等各种类型数据，支持结构化和非结构化大数据的统一存储管理，支持弹性扩容、大容量、高并发和高速一体化的数据访问[9]。

　　3.2两地三中心多活容灾技术

　　所谓“双活”或“多活”数据中心，区别于传统数据中心和灾备中心的模式。数据中心都处于运行当中，运行相同的应用，具备同样的数据，能够提供跨中心业务负载均衡运行能力，实现持续的应用可用性和灾难备份能力。“双活”数据中心最大的特点是：

　　(1)充分利用资源，避免了一个数据中心常年处于闲置状态而造成浪费，通过资源整合，“双活”数据中心的服务能力是翻倍的;

　　(2)“双活”数据中心如果一个数据中心故障的情况下，其业务可以迅速切换到另外一个正在运行的数据中心，切换过程对用户透明。为实现两地三中心容灾，生产中心和同城双活中心之间的数据复制基于数据库层同步技术以及存储虚拟化层的数据复制技术，同城双活中心需要自应用层到数据库层以及存储层建立和生产中心的匹配关系。为保证性能，同城双活中心与生产中心配置类似，其硬件平台的配置应与生产中心基本一致。

　　同城双活数据中心应用系统采用同构X86架构服务器并采用虚拟化技术构建，不同的业务，在双活数据中心互为主备，业务均集中在主分区运行，当发生故障时，以业务整体进行切换。存储层双活采用存储虚拟化技术构建，当任一存储系统发生故障时，存储设备及底层支撑软件将自动检测到故障，根据承载业务情况，及时切换，平滑过渡，对上层应用系统屏蔽。容灾网络，同城数据中心之间采用DWDM裸光纤高速网络连接，本地和异地数据中心之间采用IP网络连接，网络带宽要保证系统切换的顺畅和数据复制的带宽需求。

　　3.3大数据可视化技术

　　大数据环境下用户与数据的交互成为一个难题，没有大数据可视化技术，不具备专业技能或知识的用户就无法参与数据分析过程并共享数据分析结果。可视化技术指的是借助于图形化手段，清晰有效地传达与沟通大数据及其分析信息。大数据可视化技术搭建了一个用户与数据交互和互动的有益平台，也使得隐藏在大数据深处的模式和洞察变得显性。

　　数据可视化技术的基本思想是将数据中的每一个数据项作为单个图元素表示，大量的数据集构成数据图像，同时将数据的各个属性以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。通过标签云、集群图、历史流、空间信息流等多种可视方式，将海量数据结果以静态或者动态的图形展示出来，最终为指挥决策提供辅助。

　　4结束语

　　本文针对数据中心云化改造的需求，从体系结构、关键技术等方面给出了框架、方法和技术，并给出了应用模式及其应用流程图，为军用或民用数据中心的改造建设给出了参考。下一步工作中，将会考虑资源调度和资源备份，进一步完善数据中心的改造。

　　参考文献:

　　[1]陈卫，杨长虹，戴超凡.云计算在军事领域的应用[J].国防科技，2015.

　　[2]Amazon.AmazonEC2，aws.amazon.com/cn/ec2/，2017.

　　[3]VMware，云计算.www.vmware.com/cn/cloud-computing/overview.html，2017.

　　[4]华为.云计算解决方案，www.huawei.com/cn/solutions/cloudcomputing/cloud，2017.

　　[5]阿里云.阿里云-打造数据分享第一平台，www.aliyun.com，2017.

　　[6]李英壮，廖培腾，孙梦，李先毅.基于云计算的数据中心虚拟机管理平台的设计[J].实验技术与管理.2011.

　　[7]苏命峰.云计算环境下高校数据中心的虚拟化研究与实现[D]湖南大学，2015.

　　[8]樊昊.“双活”数据中心的设计实现[J].电信科学.2016.

　　[9]马晓亭，陈臣.基于虚拟化技术的数字图书馆分布式云计算数据中心研究[J].情报科学，2012.

　　相关期刊推荐：国防科技(双月刊)创刊于1978年，是国防科技大学主办的科技军事类综合性学术期刊，杂志兼承国防和军队现代化建设法服务的宗旨，对世界国防科技、先进武器装备跟踪、研究。读者为科技、军事领域教学科研人员、国家军队人员。