静态与动态域先验增强的两阶段视频压缩感知重构网络

来源：电子与信息学报杂志2024年第11期北京时间：

作者：杨春玲, 梁梓文

单位：华南理工大学电子与信息学院 广州 510000

摘要：视频压缩感知重构属于高度欠定问题，初始重构质量低与运动估计方式单一限制了帧间相关性的有效建模。为改善视频重构性能，该文提出静态与动态域先验增强两阶段重构网络(SDPETs-Net)。首先，提出利用参考帧测量值重构2阶静态域残差的策略，并设计相应的静态域先验增强网络(SPE-Net)，为动态域先验建模提供可靠基础。其次，设计塔式可变形卷积联合注意力搜索网络(PDCA-Net)，通过结合可变形卷积与注意力机制的优势，并构建塔式级联结构，有效地建模并利用动态域先验知识。最后，多特征融合残差重构网络(MFRR-Net)从多尺度提取并融合各特征的关键信息以重构残差，缓解两阶段耦合导致不稳定的模型训练，并抑制特征的退化。实验结果表明，在UCF101测试集下，与具有代表性的两阶段网络JDR-TAFA-Net相比，峰值信噪比(PSNR)平均提升3.34 dB，与近期的多阶段网络DMIGAN相比，平均提升0.79 dB。

关键词：视频压缩感知, 帧间相关性建模, 两阶段重构, 特征对齐

基金资助：广东省自然科学基金(2019A1515011949)