一种海量中文地址转化与切割的方法研究

来源：计算机技术与发展杂志2015年第11期北京时间：

作者：徐辉;王宁章;雷琳琳

摘要：针对在传统单节点计算模式下,处理海量中文地址数据时不能直接地进行复杂空间数学计算,并且容易受节点硬件条件限制而出现内存溢出和计算速度慢的问题,文中提出了一种中文地址信息通过第三方接口转成对应的经纬度坐标数据,再运用改进后的PRBP-DI分区算法,将海量数据切分成若干子分区分别计算的方法.减少PRBP算法中,对分区数据块列或行重复进行的扫描计算和累积求和计算.真实数据集上的实验结果表明,通过该方法能将海量中文地址数据转化并切分成分布均匀的若干子分区,且算法耗时并不一直随数据点个数增加而增大,提高了海量中文地址数据并行计算的能力和准确性.并根据两种分区算法各自的耗时变化,分析了算法耗时在数据量增大到300 000个数据点时反而减小的原因.

关键词：中文地址;PRBP-DI;分区算法;海量数据;并行计算