基于大数据应用的地质灾害数据存储策略

来源：计算机测量与控制杂志2023年第6期北京时间：

作者：石晓栊,赵统永,王耀忠,彭君

单位：国家管网集团川气东送天然气管道有限公司

摘要：针对人工智能算法和大数据技术在地质灾害监测和预警上的应用需求,基于分布式文件系统(HDFS)和列式存储非关系型数据库(HBase)提出了地质灾害相关数据的存储策略。分析了地质灾害监控系统、地质灾害预测预报系统所需使用数据的数据种类、数据格式、数据容量、数据频率及数据增长速度等信息。从数据粒度大小的角度来对数据进行分类和组织,对不同粒度的数据设计了不同的存储模式,以实现高效的存取效率。根据数据的应用特性对数据进行类别划分,为不同类型的数据提供不同的存储结构和访问接口,以获得最优的数据访问性能。

关键词：监测预警;HDFS;HBase ;分布式数据库;大数据应用;地质灾害

基金资助：国家青年科学(61502196)；吉林省自然科学(20200201290JC)。