GPU加速与L-ORB特征提取的全景视频实时拼接

来源：计算机研究与发展杂志2017年第6期北京时间：

作者：杜承垚,袁景凌,陈旻骋,李涛,

摘要：全景视频是在同一视点拍摄记录全方位场景的视频.随着虚拟现实(VR)技术和视频直播技术的发展，全景视频的采集设备受到广泛关注.然而制作全景视频要求CPU和GPU都具有很强的处理能力，传统的全景产品往往依赖于庞大的设备和后期处理，导致高功耗、低稳定性、没有实时性且不利于信息安全.为了解决这些问题，首先提出了L-ORB特征点提取算法，该算法优化了分割视频图像的特征检测区域以及简化ORB算法对尺度和旋转不变性的支持;然后利用局部敏感Hash(Multi-ProbeLSH)算法对特征点进行匹配，用改进的样本一致性(progressivesampleconsensus,PROSAC)算法消除误匹配，得到帧图像拼接映射关系，并采用多频带融合算法消除视频间的接缝.此外，使用整合了ARMA57CPU和MaxwellGPU的NvidiaJetsonTX1异构嵌入式系统，利用其Teraflops的浮点计算能力和内建的视频采集、存储、无线传输模块，实现了多摄像头视频信息的实时全景拼接系统，有效地利用GPU指令的块、线程、流并行策略对图像拼接算法进行加速.实验结果表明，算法在图像拼接的特征提取、特征匹配等各个阶段均有很好的性能提升，其算法速度是传统ORB算法的11倍、传统SIFT算法的639倍；系统较传统的嵌入式系统性能提升了29倍，但其功耗低至10W.

关键词：全景视频, 图像拼接, 异构计算, 嵌入式GPU, ORB,