基于Spark Streaming的实时数据分析系统及其应用
来源：计算机应用杂志2017年第5期北京时间：
作者：韩德志, 陈旭光, 雷雨馨, 戴永涛, 张肖
单位：1. 上海海事大学 信息工程学院, 上海 201306;2. 郑州大学 信息工程学院, 郑州 450001
摘要：为了实现对实时网络数据流的快速分析，设计一种分布式实时数据流分析系统（DRDAS），能有效解决并发访问数据流的收集、存储和实时分析问题，为大数据环境的网络安全检测提供了一种有效的数据分析平台；根据Spark Streaming运行的原理设计一种动态采样的K-Means并行算法，与DRDAS结合能实时有效地检测大数据环境下的各种分布式拒绝服务（DDoS）攻击。实验结果显示：DRDAS具有好的可扩展性、容错性和实时处理能力，与动态采样的K-Means并行算法结合能实时地检测各种DDoS攻击，缩短了攻击的检测时间。
关键词：Spark Streaming框架,分布式流处理,网络数据分析,分布式拒绝服务攻击
基金资助：国家自然科学基金资助项目（61373028，61672338）。
