基于向量引用Platform-Oblivious内存连接优化技术

来源：软件学报杂志2018年第3期北京时间：

作者：张延松,张宇,王珊

单位：张延松，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 100872;中国人民大学 信息学院, 北京 100872;中国人民大学 中国调查与数据中心, 北京 10087211,张宇，国家卫星气象中心, 北京 10008102,王珊，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 100872;中国人民大学 信息学院, 北京 10087203

摘要：以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理，在面向复杂数据模式时，连接操作仍然是重要的性能瓶颈.近年来，异构处理器逐渐成为高性能计算的主流平台，内存连接性能的研究从多核CPU平台扩展到新兴的众核处理器，但众多的研究成果并未系统地揭示连接算法性能、连接数据集大小、硬件架构之间的内在联系，难以为未来异构处理器平台的数据库提供连接平台优化选择策略.以面向多核CPU、Xeon Phi、GPU处理器平台的内存连接优化技术为目标，通过优化内存哈希表设计，实现以向量映射替代哈希映射操作，消除哈希代价对内存连接算法的影响，从而更加准确地测量内存连接算法在多核CPU的cache大小、Xeon Phi的cache大小、Xeon Phi的并发多线程、GPU的SIMT （单指令多线程）机制等硬件相关因素影响下的性能特征.实验结果表明，缓存与并发多线程机制是提高内存连接算法性能的重要影响因素.缓存机制对于满足cache大小的连接操作具有性能优势，而GPU的并发多线程机制则在较大表的连接操作中具有较高的性能，Xeon Phi则在满足其L2 cache大小的连接操作中具有最高性能.实验结果揭示了内存连接操作性能与异构处理器硬件特性的联系，为未来异构处理器平台内存数据库查询优化器提供了优化策略.

关键词：内存连接操作;哈希连接;向量映射;异构处理器平台

基金资助：国家自然科学基金（61732014，61772533）；国家高技术研究发展计划（863）（2015AA015307）；中央高校基本科研业务费专项资金（16XNLQ02）