《计算机工程与科学杂志》发表论文赏析

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

来源:计算机工程与科学杂志2022年第4期北京时间:

作者:刘世缘, 李云春, 陈晨, 杨海龙

单位:(1.北京航空航天大学计算机学院,北京 100191;2.北京航空航天大学网络空间安全学院,北京 100191)

摘要:随着数据量的日益增加,大数据存储在整个大数据应用框架体系中居于重要地位。对大数据存储系统进行性能评测可以指导大数据应用开发人员分析性能瓶颈,进行大数据系统的性能优化。在以往的工作中,通常使用基准测试的方式来对不同大数据框架进行性能评测,或者采用插桩并分析轨迹文件的方式对分布式文件系统进行性能分析。这2种方法采用的分析角度不同,并没有形成合理的评测体系来评价大数据分布式存储系统。本文提出主动与被动相结合的大数据存储系统性能评测方法体系结构及其具体实现。在主动性能评测方法方面,提供了6个领域,超过20个应用的基准测试程序,对大数据存储系统主动发起性能测试,分析大数据存储系统的基准性能指标;在被动性能评测方法方面,提供了对低效任务、低效算子、低效函数的分析及定位方法,通过分析运行在大数据存储系统之上的大数据应用,分析大数据应用程序低效的原因。通过实验表明,该大数据性能评测方法体系结构能够全面地对大数据存储系统进行性能评测。

关键词:大数据存储,性能评测方法,基准测试程序,低效行为分析,

基金资助:国家重点研发计划(2016YFB1000304);国家自然科学基金(62072018)

2022年4期其他文献查阅:

分布式存储系统读写一致性算法性能优化研究综述

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

面向Lustre集群存储的应用日志分析及系统自动优化框架

基于深度神经网络的高速信道自适应均衡器

无服务器计算技术研究综述

异构Spark集群数据倾斜修正调度策略

数据中心网络路由研究进展

融合正余弦优化与跳距优化的DV-Hop定位算法

基于机器学习的移动代理应用流量识别方法

动态特征选择算法对恶意行为检测的优化研究

基于可见光视觉图像的路面裂缝识别深度学习方法述评

针对机动目标的改进型交互多模型跟踪算法研究

基于OSE-dResnet网络的列车底部零件检测算法

基于字段过滤和伸缩窗口的SNM算法优化

ED算法和SNP-index算法计算SNP位点的比较分析——以拟南芥为例

基于节点影响力的理性节点标签传播算法

基于广义重要度和runner-root算法的特征选择

基于预训练的无监督神经机器翻译模型研究

改进DeepLabV3+的高效语义分割

基于模拟退火算法的人工势场法路径规划研究

特征直连与结构化约束的多视图子空间聚类

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!