云存储系统中文件分界点确定方法——Cut-GAR

来源：计算机应用杂志2015年第9期北京时间：

作者：邵田, 陈广胜, 景维鹏

单位：1. 东北林业大学 信息与计算机工程学院, 哈尔滨 150040;2. 黑龙江省林业生态大数据存储与高性能(云)计算工程研究中心, 哈尔滨 150040

摘要：针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR。该方法分析消耗NameNode内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之间的关系,得出文件大小三个近似最优值,FM、FMUFS、FMAFS;然后利用灰度关联分析,将M、MUFS、MAFS作为评价指标,文件大小作为评价对象,得到评价指标-评价对象灰色关联度以及评价指标所占权重,将FM、FMUFS、FMAFS与对应权重相乘,得出文件分界点。实验结果表明,Cut-GAR在M、MUFS 和MAFS三者之间取得平衡,可以有效确定文件分界点,提升小文件处理性能。

关键词：Hadoop 分布式文件系统,小文件,文件分界点,Cut-GAR,灰色关联分析

基金资助：黑龙江省自然科学基金重点项目(ZD201403);哈尔滨市科技人才研究专项(2014RFQXJ132)。