《计算机工程与科学杂志》发表论文赏析

基于运行数据分析的Spark任务参数优化

来源:计算机工程与科学杂志2016年第1期北京时间:

作者:陈侨安1,李峰1,曹越1,龙明盛1,2

单位:1.清华大学软件学院,北京 100084;2.清华大学信息科学与技术国家实验室(筹),北京 100084

摘要:运行数据是大数据系统中增长最快、最为复杂也是最有价值的数据资源之一。基于运行数据,软件开发者可以分析关于软件质量和开发模型的重要信息。Spark作为一个分布式系统,在运行过程中会产生大量的运行数据,包括日志数据、监控数据以及任务图数据。开发者可以基于运行数据对系统进行参数调优。然而该系统所涉及的参数种类繁多、影响多样且难以评估,若对系统了解不足,进行参数调优存在较大的困难。提出运行数据历史库的概念,历史库中存储的是以往运行任务的特征信息以及运行配置信息。同时提出了基于历史库搜索的参数优化模型,并实验验证了本文提出的参数优化模型对用户任务性能提升具有较好的效果。

关键词:大数据,运行数据,数据分析,参数优化,Spark,

基金资助:清华大学信息科学与技术国家实验室大数据科学与技术专项(面向领域的大数据应用系统开发与运行平台)

2016年1期其他文献查阅:

基于SDN架构的高性能网络拥塞避免策略

基于运行数据分析的Spark任务参数优化

基于云环境下一种小文件传输策略研究

一款低噪声八相位锁相环设计

NoSQL数据库间数据交换代价研究

一种面向光收发器的ps级光脉冲产生器

一种基于Hadoop+CUDA实现相关器的方法

一种高效的DMA核间同步传输方法

基于效益博弈的云计算资源动态可协调分配策略研究

一种用于进化算法历史计算数据的高效利用方法

SDN中的端到端时延

面向软件攻击面的Web应用安全评估模型研究

电力无线通信异构多网共存环境中的网络选择算法

带长度约束的k端网络可靠性分析

小生境分布估计量子遗传算法及其仿真分析

改进生成树算法的多机器人在线地图覆盖

基于分层模糊有色Petri网的防空C3I系统建模研究

基于几何变换的MAGA求解多纳什均衡

量子遗传算法优化BP神经网络的网络流量预测

基追踪问题的近点算法及其应用研究

编队卫星相对位置测量信息自主确定月球引力场的方法

分布式仿真系统中的全局一致性问题研究

改进的双向SIFT特征匹配算法

基于图像显著性检测的图像分割

基于改进快速鲁棒性特征的导弹视频特征匹配

基于小波分析和Gaussian回归的急性低血压预测

基于互联网信息的多约束多目标旅游路线推荐

基于灰色关联度聚类与标签重叠因子结合的协同过滤推荐方法研究

基于SVM的局部潜在语义分析算法研究

一种基于整体多样性增强的推荐算法

基于多标记学习的汽车评论文本多性能识别

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!