面向云平台的二代测序数据近似去重方法研究

来源：计算机工程与应用杂志2017年第23期北京时间：

作者：赵晓永1，陈 晨2

单位：1.北京信息科技大学 信息管理学院，北京 100129；2.首都医科大学附属北京地坛医院 传染病研究所，北京 100015

摘要：新一代测序因其数据量大、数据处理过程复杂、对计算资源要求高等特点，需要通过云计算进行处理。然而，云计算的处理方式要求先将测序数据上传到云平台中。但由于测序过程的随机性，使得同一样本的两次测序、两个相似样本分别测序后所产生的文件在二进制层面会有较大差别。目前已有的去重方法无法有效识别出这样的“重复”测序文件和测序结果中的“重复”内容。重复上传和存储这些重复数据，不仅消耗网络带宽，而且浪费存储空间。针对现存的重复数据删除方法仅仅基于文件的二进制特征，并未有效利用测序结果数据相似性特点的问题，提出一种面向云平台的海量高通量测序数据近似去重方法NPD（Near Probability Deduplication）。该方法对FastQ中的序列和质量信息，使用SimHash计算分块指纹，采用客户端与云平台双布谷过滤器（Cukoo Filter）对指纹值进行快速存在性检测，最后由云平台使用近似算法对指纹值近似去重。实验结果表明，NPD方法在保证高效的同时，大幅提升了去重率，进而减少了网络流量，缩短了数据上传时间，能够支撑海量数据处理，具有良好的实用价值。

关键词：高通量测序,重复数据删除,近似去重,布谷过滤器