面向海量高清视频数据的高性能分布式存储系统

来源：软件学报杂志2017年第8期北京时间：

作者：操顺德,华宇,冯丹,孙园园,左鹏飞

单位：操顺德，武汉光电国家实验室(华中科技大学), 湖北 武汉 430074;华中科技大学 计算机科学与技术学院, 湖北 武汉 43007411,华宇，武汉光电国家实验室(华中科技大学), 湖北 武汉 430074;华中科技大学 计算机科学与技术学院, 湖北 武汉 43007402,冯丹，武汉光电国家实验室(华中科技大学), 湖北 武汉 430074;华中科技大学 计算机科学与技术学院, 湖北 武汉 43007403,孙园园，武汉光电国家实验室(华中科技大学), 湖北 武汉 430074;华中科技大学 计算机科学与技术学院, 湖北 武汉 43007404,左鹏飞，武汉光电国家实验室(华中科技大学), 湖北 武汉 430074;华中科技大学 计算机科学与技术学院, 湖北 武汉 43007405

摘要：通过对视频监控数据的特点和传统存储方案进行分析，提出一种高性能分布式存储系统解决方案.不同于传统的基于文件存储的方式，设计了一种逻辑卷结构，将非结构化的视频流数据以此结构进行组织并直接写入RAW磁盘设备，解决了传统存储方案中随机磁盘读写和磁盘碎片导致存储性能下降的问题.该方案将元数据组织为两级索引结构，分别由状态管理器和存储服务器管理，极大地减少了状态管理器需要管理元数据的数量，消除了性能瓶颈，并提供了精确到秒级的检索精度.此外，该方案灵活的存储服务器分组策略和组内互备关系使得存储系统具备容错能力和线性扩展能力.系统测试结果表明，该方案在成本低廉的PC服务器上实现了单台服务器可同时记录400路1080P视频流，写入速度是本地文件系统的2.5倍.

关键词：海量存储;视频存储;流媒体存储;分布式系统;逻辑卷

基金资助：国家重点研发计划（2016YFB1000202）