基于动态时间窗格的数据仓库流批一体优化方法

来源：计算机应用研究杂志2025年第8期北京时间：

作者：陈滨林,唐小勇,

单位：长沙理工大学计算机与通信工程学院,长沙410114；

摘要：数据仓库是企业数据管理核心，批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题，以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战，提出了一种流批一体处理方法。所提方法通过分析数据集在不同时间窗格中的变化，融合了基于调度时间的动态时间窗格划分和基于DFS算法的最简数据集搜索。实验结果表明，与主流微批处理方法相比，该方法将整体计算时间缩短57.2%，内存消耗减少24.2%，同时确保了数据的强一致性。该方法对于企业构建高处理效率、低资源消耗的流批一体化数据仓库具有重要参考价值。

关键词：数据仓库,数据流处理,动态时间窗格,最简数据集,流批一体化,

基金资助：国家自然科学基金资助项目(62372064)；；