《计算机工程与科学杂志》发表论文赏析

基于Hadoop平台的LDA算法的并行化实现

来源:计算机工程与科学杂志2016年第2期北京时间:

作者:张钊1,2,3,张新峰1,2,3,郑楠1,2,3,贵明俊1,2,3

单位:(1.北京工业大学电子信息与控制工程学院,北京 100124;2.数字社区教育部工程研究中心,北京 100124;3.城市轨道交通北京实验室,北京 100124)

摘要:随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题,提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。

关键词:Hadoop,MapReduce,LDA主题模型,Gibbs,中文分词,并行计算,

基金资助:北京市属高等学校高层次人才引进与培养计划项目(CIT&TCD201504018)

2016年2期其他文献查阅:

分区内存体系结构片选指令优化方法

基于HYB格式稀疏矩阵与向量乘在CPU+GPU异构系统中的实现与优化

一种基于Matrix的QR分解向量化方法

基于Hadoop的可视化Deep Web采集平台设计

栅元有效共振积分的CUDA算法设计与实现

基于Hadoop平台的LDA算法的并行化实现

一种新的基于预约的拥塞避免机制

一种基于软硬件协同的程序安全关键数据动态保护机制

时空轨迹大数据分布式蜂群模式挖掘算法

一种基于云环境的文件存储策略的研究

哲学家就餐问题的算法实现

基于社会网络特性的双混沌互反馈加密算法研究

基于位置信息的流式移动应用推送系统的研究

使用符号化驱动环境检测Linux设备驱动程序的漏洞

基于灰色关联分析的Web服务选择

一种适用连续不确定XML数据的索引

基于遗传算法的时空数据压缩策略优化

面向全景拼接的图像配准技术研究及应用

H.264码率控制跳帧算法的优化

一种基于极坐标变换的点模式匹配算法

高阶PDE模型中的松弛中值图像去噪方法

带形状参数的QT-Bézier曲线曲面的构造和应用

基于邻域信息熵度量数值属性快速约简算法

一种改进的混合蛙跳和K均值结合的聚类算法

一种基于聚集系数的社区发现算法

基于支持度和增比率的改进关联分类算法

基于蒙古语课程领域语义Web的推理与检索方法的研究

一种基于情绪激励度的情绪词加权方法

汉语口语互动分级语料库的构建

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!