基于FastDFS的数字媒体系统设计与实现技术研究

来源：计算机技术与发展杂志2019年第05期北京时间：

作者：张祥俊;伍卫国

摘要：海量的数据存储一般采用分布式文件系统 HDFS,Hbase 等作为存储工具,但对海量媒体资产数据这种中小文件的存储,存在性能瓶颈,并且随着后期小文件越来越多,会造成系统元数据占用过大。 对于海量媒体资产管理而言,检索是关键,设计良好的查询体系很重要。 结合国家重点研发课题海量数字媒体与应用的实际应用需求,通过分析分布式文件系统 FastDFS 的原理与缺陷,提出了一种基于容器技术、适合于存储海量中小型文件的分布式存储系统,同时设计了集群服务器之间的同步目录组方案,确保在宕机的情况下,用户的数据不会丢失,且 Docker 支持多租户,确保了不同租户数据的隔离性。 最后对设计实现的原型系统进行了测试与分析,测试结果表明,基于 FastDFS 的数字媒体资产在线管理系统符合预期设计,性能和可靠性较好,可适用于超算环境下各种渲染任务的使用。

关键词：FastDFS;Docker;媒体资产管理;分布式存储;数字媒体制作