《计算机工程与科学杂志》发表论文赏析

海量气象数据实时解析与存储系统的设计与实现

来源:计算机工程与科学杂志2015年第11期北京时间:

作者:王若曈1,黄向东2,张博2,王建民2,罗兵1

单位:1.国家气象中心,北京 100081;2,清华大学软件学院,北京 100084

摘要:气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式KeyValue数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。

关键词:多维数据,气象数据,分布式,解析,存储,MICAPS,

2015年11期其他文献查阅:

海量气象数据实时解析与存储系统的设计与实现

云计算环境下基于数据关联度的海洋监测大数据布局策略

面向大规模云资源调度的可扩展分布式调度方法

基于低阈值单元的高性能低功耗设计方法

申威处理器硬件数据预取技术的实现

面向高校教学云服务的虚拟机动态调度方法

基于OpenMP的包络对齐并行方法研究与实现

一款可综合全数字锁相环设计与分析

数据流Eager传输:一种分布式流体系结构中的性能优化技术

基于Spark Streaming的视频/图像流处理与新的性能评估方法

一种基于改进的DBSCAN的面向海量船舶位置数据码头挖掘算法

云环境下基于Bayesian主观信任模型的动态级调度算法

数字微流控生化芯片多液滴稀释方法的研究

一种基于HBase的空间关键字查询算法

边排序质量影响因素研究

一种基于网络编码的新型卫星网络可靠组播机制

考虑用户和传播属性的节点影响力评估算法

基于知识发现的风险最小化授权模型

运用SPIN对开放授权协议OAuth 2.0的分析与验证

基于协同过滤的Web缓存替换算法研究

基于逆向游走的PageRank社交网络影响力度量算法

具有7-(8,0)型自同构的二元双偶极值码

Android平台上的多用户无线投影控制系统设计

面向函数依赖的隐私保护研究

广义可能性决策过程的计算树逻辑模型检测

因素空间的属性圆定义及其在对象分类中的应用

一种基于词序的社会情感演变分析模型

基于CAN/LIN双总线电动汽车数字仪表系统的设计

甲骨文知识图谱构建中的实体关系发现研究

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!